Unix-Systeme auf Dell-Servern im Praxisbenchmark
Zusammenfassung
Felix von Leitner nutzte 2006 ein Wochenende mit leistungsstarken Dell-Servern, um verschiedene Unix-Systeme unter realistischer Last zu vergleichen. Statt synthetischer Tests spielte das selbst geschriebene HTTP-Benchmarkwerkzeug echte Zugriffsmuster eines Bildservers für Kleinanzeigen eines großen deutschen Portals nach. Die ersten Ergebnisse waren für NetBSD und FreeBSD schlecht, OpenBSD 3.7 und 3.9 blieben schon beim Booten der Installations-CD hängen.
Warum realistische Benchmarks wichtig sind
Viele Benchmarks messen, was sich leicht messen lässt, etwa wie viele kleine Anfragen pro Sekunde ein Server schafft. Im echten Betrieb entscheiden aber Dateigrößen, Verzeichnisstrukturen und Zugriffsmuster darüber, ob das Dateisystem und der Cache mithalten. Deshalb übernahm von Leitner Dateinamen, Größen, Pfade und die tatsächliche Reihenfolge der Zugriffe aus dem Produktivsystem und baute einen Replay-Modus in das eigene Werkzeug ein.
Der Test war damit vor allem ein Dateisystem-Benchmark. Die Netzwerkleistung hatte von Leitner bereits in einer früheren Runde verglichen.
Warum solche Vergleiche etwas bewirken
Schon die früheren, viel beachteten Netzwerk-Benchmarks von Felix von Leitner hatten Schwächen einzelner Systeme öffentlich gemacht, und mehrere Projekte reagierten mit Verbesserungen. Öffentliche, nachvollziehbare Messungen sind damit ein wirksamer Hebel für Qualität in freier Software, vorausgesetzt Methode und Rohdaten sind offen.
Ideen
- Echte Zugriffsmuster aus dem Betrieb ergeben aussagekräftigere Benchmarks als synthetische Last.
- Ein Replay-Modus spielt aufgezeichnete Anfragen in der ursprünglichen Reihenfolge nach.
- Dateisystem- und Netzwerkleistung sollten getrennt betrachtet werden.
Einsichten
- Ein System, das in synthetischen Tests glänzt, kann unter realer Last schwach sein.
- Öffentliche Vergleiche setzen Entwicklerteams unter heilsamen Druck.
Fakten
- Getestet wurde mit Zugriffsmustern eines Bildservers für Kleinanzeigen.
- Die ersten Ergebnisse für NetBSD und FreeBSD fielen schlecht aus.
Referenzen
Kritik
- Der Beitrag nennt nur vorläufige Eindrücke; Messwerte, Konfigurationen und genaue Versionen der getesteten Systeme fehlen hier.
Bemerkungen
- Ob und wo die vollständigen Ergebnisse später veröffentlicht wurden, geht aus dem Beitrag nicht hervor.
Empfehlungen
- Miss die Leistung deiner Server mit aufgezeichneten echten Zugriffen statt nur mit Standard-Benchmarks.
- Veröffentliche bei Vergleichen immer Methode, Versionen und Konfiguration.
Links zur Originalquelle und zum Webarchiv öffnen einen neuen Tab.