Do IT distributed

MapReduce - Debugged

Ein lang ersehntes Feature hat endlich die Management Konsole von AWS erreicht: Debugging! Das Team hat dem MapReduce Workflow einen Erweiterung spendiert, welche es dem Benutzer ermöglicht Debugging generell und speziell für Hadoop einzuschalten.

Nach Erzeugung des Workflow wird dann vor dem eigentlichen Hadoop Programm ein weiteres Programm gestartet, welches sich um das Debugging kümmert. Einmal laufend hat man die Möglichkeit die über den neuen Debug Button detaillierte Ausgaben der Fehlerlogs und vom Controller zu bekommen. Im Falle eines Fehlers kann nun schneller festgestellt werden, wo das Problem liegt. Dies dürfte dann auch die lokale Installation einsparen, da das Debugging nun auch auf die Seite von Amazon verschoben werden kann. Eine Ausgabe wie diese: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory s3n://…/output already exists and is not empty hilft schnell das Problem zu beseitigen und wieder durchzustarten.