Einführung
In Ordnung Leute. Heute haben wir ein besonderes Schmankerl für Sie. Die letzten beiden Webbrowser-Grand-Prix-Geschichten erhielten tonnenweise leserbasiertes Feedback. Aber die Kommentare im ersten Artikel ließen eine Frage lauter erschallen als die anderen: Wie sieht es mit der Browserleistung unter Linux aus?
Ah, das ist gut.
Kurz nach Web Browser Grand Prix 2 bringen wir Ihnen The Linux Circuit. Mit genau demselben Testsystem, das wir beim letzten Mal verwendet haben, haben wir Ubuntu 10.04 LTS (Lucid Lynx) und die drei wichtigsten plattformübergreifenden Webbrowser installiert: Google Chrome, Mozilla Firefox und Opera. Wir werden nicht nur einen Linux-basierten Browser zum Sieger erklären, sondern wir werden die Ergebnisse auch mit denen vergleichen, die unter Windows 7 generiert wurden. Da die Top-3-Performer in Windows 7 zufälligerweise Opera, Chrome und Firefox sind, können wir erklären ein Gewinner, der sich auch über beide Plattformen erstreckt.
Dromaeo-Drama
In den letzten beiden Artikeln gab es einige Kontroversen bezüglich Mozillas JavaScript-Benchmark Dromaeo. Beim ersten Webbrowser-Grand-Prix schnitt Opera 10.50 deutlich besser ab als die anderen vier Webbrowser. Da es den Sieg von Chrome so oder so nicht beeinflusste, beschloss ich, Operas höchst zweifelhaften Score bestehen zu lassen. Chrome-Fans schien es egal zu sein, aber Opera-Fans ließen mich definitiv wissen, dass die Punktzahl einfach gut ist, und ich sollte es nicht in Frage stellen. In der Fortsetzung der letzten Woche erhielt Opera 10.60 erneut eine unglaublich hohe Punktzahl im JavaScript-Test von Dromaeo. Allerdings habe ich damals Opera aus dem Benchmark disqualifiziert. Obwohl Opera 10.60 Google Chrome immer noch die Geschwindigkeitskrone abnimmt, haben Opera-Fans es mir wegen Chrome wirklich überlassen.
Um es gleich klarzustellen: Die Entscheidung, Opera von der Platzierung im Dromaeo-JavaScript-Benchmark zu streichen, hatte keinen Einfluss auf das Endergebnis des Gesamtsiegers. Wenn ich Opera nicht disqualifiziert und damit den ersten Platz in diesem Test belegt hätte, wäre Chrome immer noch der Gesamtleistungschampion gewesen. Obwohl der Sieg von Chrome mit dem absolut kleinstmöglichen Vorsprung ausgefallen wäre, hätte dennoch ein quantifizierbarer Vorsprung bestanden. Ich mag diese Anrufe nicht. Am liebsten wäre mir, wenn alles glatt läuft. Aber Dinge passieren, und manchmal müssen exekutive Entscheidungen getroffen werden.
Weniger als eine Woche später zeigt sich im Nachhinein die Entscheidung, Opera als richtigen Aufruf zu disqualifizieren. Seitdem haben wir die drei beteiligten Parteien kontaktiert: Mozilla (Autor der Dromaeo-Benchmarks), Opera und Google. Unten ist ein Auszug aus einer Erklärung von Mike Shaver, Vice President of Engineering bei Mozilla:
Bis vor kurzem war der Dromaeo-Benchmark, insbesondere im Hinblick auf die Leistung regulärer Ausdrücke, sehr anfällig für Optimierungen, die speziell auf diese Schwächen abzielten. Eine JavaScript-Engine, die speziell für diese Tests geändert wurde, konnte astronomische Verbesserungen der Punktzahl feststellen, indem sie die Arbeit, die erledigt und zeitlich geplant werden sollte, effektiv untergräbt. Google machte uns auf diesen Fehler aufmerksam und forderte uns auf, den Test zu beheben. Wir haben zugestimmt, da es eindeutig nichts Nützliches getestet hat. Diese Testfixierung wurde letzte Woche abgeschlossen. (In der Zwischenzeit haben sie aus Wettbewerbsgründen spezifischen Code zu V8 hinzugefügt, um auch diesen Aspekt des Benchmarks zu „spielen“.
Nun, da haben Sie es. Ob Opera diesen Benchmark absichtlich „verzockt“ hat oder nicht, steht noch in den Sternen. Ohne Zugriff auf den Quellcode würde niemand außerhalb von Opera es sicher wissen. Ein Vertreter von Opera brachte die anfängliche Idee auf, dass Profile-Guided Optimizations (PGO) für die hohen Dromaeo-Scores in Windows verantwortlich sein könnten. Laut Opera erreicht seine OS X-Version (die PGO noch nicht aktiviert hat) keine absurd hohen Punktzahlen in Dromaeo. Das Unternehmen hatte keine Ergebnisse für seine Linux-Version und der Vertreter wusste nicht, ob der Pinguin PGO hatte oder nicht. Ohne Linux-Daten von Opera können wir nicht weiter feststellen, ob PGO wirklich der Übeltäter ist. In der Zwischenzeit warten wir immer noch darauf, von den Entwicklern in Oslo eine offizielle Erklärung für die hohen JavaScript-Werte von Dromaeo zu hören.
Soweit Google betroffen ist, hat Mozilla dank Chromium die rauchende Waffe über die Dromaeo-Spielereien des Unternehmens. Im letzten Artikel habe ich berichtet, dass Chrome 5.0.375.89 ebenfalls dramatisch hohe Dromaeo-JavaScript-Scores lieferte – viel höher als der Score, der zur Disqualifikation von Opera führte. Mozilla und Google bestätigten beide, dass die Werte 5.0.375.70 und 5.0.375.86 Quatsch sind. Die endgültige Version von Chrome, die getestet und veröffentlicht wurde (5.0.375.99), erzielte 290,72 Punkte. Google behauptet, dass eine Caching-Funktion, die zu 5.0.375.70 hinzugefügt, aber dann in 5.0.375.99 entfernt wurde, schuld war. Die Firma Mountain View hat damals nichts gegen die hohen Dromaeo-Scores unternommen, obwohl sie sich dessen bewusst waren, weil Opera es auch nicht getan hatte.
Laut Herrn Shaver wurde der Testfix kurz nach der Veröffentlichung unseres letzten Artikels eingerichtet. Seitdem haben wir die Dromaeo-JavaScript-Tests sowohl auf Opera 10.60 als auch auf Chrome 5.0.375.99 mit unserem Windows 7 Ultimate 64-Bit-Testsystem erneut ausgeführt. Opera kommt jetzt auf einen Score von 211,5, während Chrome immer noch rund 290 verdient. Weder Mozilla noch Google haben Grund, am Score von Chrome 5.0.375.99 zu zweifeln. Während die Opera-Disqualifikation von unserem vorherigen Stück bestehen bleibt, werden wir die Dromeao-JavaScript-Punktzahl von Opera für Windows 7 aktualisieren, um das „echte“ Ergebnis in den Diagrammen für diesen Artikel widerzuspiegeln.
Lassen Sie das Benchmarking mit diesem Brouhaha hinter uns und ohne weitere Verzögerung beginnen!
