Vier Terabyte Zeitungsdaten mit EC2 und Hadoop verarbeiten
Zusammenfassung
Derek Gottfrid beschreibt, wie die New York Times vier Terabyte Archivdaten mit Hadoop, EC2 und S3 in nutzbare PDF-Dateien verwandelte.
Ideen
- Temporär gemietete Rechenleistung ersetzt eine dauerhaft überdimensionierte Infrastruktur.
- Hadoop verteilt unabhängige Konvertierungsaufgaben auf viele kurzlebige Instanzen.
- S3 entkoppelt Eingabedaten, Rechencluster und fertige Ergebnisse voneinander.
- Ein reproduzierbarer Auftrag verarbeitet jahrzehntelange Archivbestände in einem Durchlauf.
- Parallelisierung verkürzt eine mehrwöchige Einzelmaschinenaufgabe auf ungefähr einen Tag.
- Verbrauchsabhängige Abrechnung macht einmalige Großprojekte wirtschaftlich planbar.
Einsichten
- Elastische Infrastruktur verändert nicht nur Kosten, sondern mögliche Projektgrößen.
- Datenlokalität und unabhängige Arbeitspakete bestimmen die Skalierbarkeit eines Stapelauftrags.
- Objektspeicher schafft eine stabile Grenze zwischen vergänglicher Rechenleistung und dauerhaften Ergebnissen.
- Seltene Spitzenlasten rechtfertigen Mietkapazität stärker als eigene Hardware.
Fakten
- Die Quelldaten umfassten ungefähr vier Terabyte TIFF-Dateien und Metadaten.
- Der Auftrag lief auf hundert Amazon-EC2-Instanzen.
- Die Verarbeitung dauerte weniger als 24 Stunden.
- Das Ergebnis bestand aus ungefähr 1,5 Terabyte PDF-Dateien.
Empfehlungen
- Zerlege Stapelverarbeitung in wiederholbare und voneinander unabhängige Einheiten.
- Speichere Zwischenergebnisse außerhalb vergänglicher Rechenknoten.
- Kalkuliere Übertragung, Speicherung und fehlgeschlagene Wiederholungen gemeinsam.
Referenzen
Der Link zur Originalquelle öffnet einen neuen Tab.