RoboHornet Redux: Alpha zu Pro in 24 Stunden
Heiliges Zugunglück, Batman! Ende September war eine seltsame, wilde Woche für Webbrowser-Neuigkeiten.
Obwohl RoboHornet auf dem Papier ein unabhängiges GitHub-Projekt ist, kaufen Microsoft und andere es nicht. In der möglicherweise schnellsten Wende in der Entwicklungsgeschichte hat Microsoft RoboHornet in weniger als 24 Stunden von der ersten Alpha-Version auf „Pro“ gebracht. In einer weiteren überraschenden Wendung stimmt Mozilla Redmond formell zu, dass die technischen Vorzüge von RoboHornet fragwürdig sind. Vielleicht erkennen die Erzrivalen Microsoft und Mozilla endlich, dass Google ihr eigentlicher Feind ist. Während die Browser-Kriegsveteranen damit beschäftigt waren, gegeneinander zu kämpfen, stürmte Chrome schließlich einfach durch die vorderen Tore und usurpierte den Thron.
Gehen wir die verrückten Ereignisse der letzten Woche durch, wie sie sich ereignet haben:
Montag: Wir haben die Geschichte von RoboHornet aufgedeckt. Der neue Webbrowser-Leistungstest ist eigentlich eine Reihe von Mikro-Benchmarks in den Bereichen HTML, CSS, JavaScript, DOM und SVG. In unseren Tests hat Internet Explorer 10 für Windows 8 den entscheidenden Sieg errungen, indem er die durchschnittliche Webbrowser-Leistung auf dem Referenz-MacBook Pro des Testerstellers (Ende 2011) mehr als verdoppelte.
Dienstag: Microsoft sagt „Danke, aber nein danke“ zu RoboHornet und weist den neuen Test als bedeutungslosen Mikro-Benchmark ab, der nicht die reale Leistung widerspiegelt. Nachfolgend finden Sie einen Auszug aus dem IE-Blog, und anhand der im Eröffnungssatz verwendeten Sprache können Sie erkennen, dass Microsoft den Teil „unabhängiger Benchmark“ nicht kauft:
Gestern hat Google seinen neusten Micro-Benchmark, RoboHornet, veröffentlicht, in dem der Internet Explorer 10 recht gut abschneidet. Obwohl wir diese Geste zu schätzen wissen, haben sich Mitglieder unseres Engineering-Teams den Benchmark angesehen und festgestellt, dass RoboHornet nicht allzu repräsentativ für die Leistung ist, die Benutzer auf realen Websites erleben könnten. Wie alle Mikrobenchmarks ist RoboHornet ein Labortest, der sich nur auf bestimmte Aspekte der Browserleistung konzentriert. Wir haben uns entschieden, den RoboHornet-Mikrobenchmark zu nehmen und ihn im Kontext eines realen Szenarios auszuführen. Mit modernen Browserfunktionen wie CSS3-Animationen, CSS3-Transformationen, CSS3-Textschatten, benutzerdefinierten WOFF-Schriftarten, Unicode, Touch und mehr haben wir eine Website erstellt, die ein wenig wie die bekannte Matrix aussieht. Wir haben dann den RoboHornet-Mikro-Benchmark im Kontext dieser echten Website durchgeführt. Während sowohl der Matrix- als auch der RoboHornet-Mikro-Benchmark gleichzeitig ausgeführt werden, verlangsamt sich Chrome auf ein Schneckentempo und stoppt die Animation des Bildschirms, da es nicht dafür ausgelegt ist, eine Benchmark-Last im Kontext eines realen Szenarios zu bewältigen. Währenddessen reagiert Internet Explorer 10 weiterhin, animiert den Bildschirm weiter und beendet den Test in weniger als der Hälfte der Zeit, die Chrome benötigt … Wir haben RoboHornet Pro auf IE Test Drive verfügbar gemacht, damit Sie es selbst ausprobieren können.
Später an diesem Tag öffnete Justin Lebar von Mozilla einen Fehler auf der GitHub-Seite von RoboHornet mit dem Titel Eliminate and outlaw micro-benchmarks, wo er sagt:
Wenn Sie möchten, dass wir (in meinem Fall Mozilla) Robohornet ernst nehmen, empfehle ich Ihnen dringend, einige Makrobenchmarks zu schreiben und die Mikrobenchmarks aus Ihrer Testsuite zu entfernen.
Mittwoch: Der mit Microsoft verbundene Steward John David Dalton streicht jegliche Erwähnung von Microsoft aus seiner RoboHornet-Stewardship. Unterdessen verlässt der Mozilla-Steward Daniel Buchner das Komitee ganz.
Heute: Wir haben Mozillas offizielle Antwort auf das RoboHornet-Debakel:
Es gibt viele Benchmarks und verschiedene Benchmarks für dieselbe bestimmte Aufgabe können sich sehr unterschiedlich verhalten. Viele Benchmarks sind insofern eigennützig, als die Entwickler normalerweise eine Reihe von Programmen auswählen, von denen sie glauben, dass es sich lohnt, schneller damit umzugehen, und sie dann erst nach Abschluss dieser Workloads mit der breiteren Community teilen. Was Entwickler und Browser-Implementierer hier jedoch wirklich brauchen, sind gute Benchmarks, die es uns ermöglichen, die ganzheitliche Leistung besser zu sehen. Wir möchten, dass mehr Benchmarks erstellt werden, die sich auf das gesamte Verbrauchererlebnis konzentrieren – zum Beispiel Benchmarks, die sich auf die Interaktion mit dem Browser, beliebte Webanwendungen oder Websites und allgemeine Aufgaben wie Schwenken und Zoomen auf Mobilgeräten konzentrieren. Micro-Benchmarks wie RoboHornet spiegeln die Benutzererfahrung im Web nicht genau wider. RoboHornet zielt darauf ab, die tatsächliche Leistung zu messen, aber es greift zu kurz. RoboHornet besteht derzeit aus 17 Mikro-Benchmarks, von denen jeder eine Sache misst, die eine Website leisten kann. Aber echte Websites erledigen Hunderte und Tausende von Dingen, sodass fast alle von RoboHornet nicht berücksichtigt werden. RoboHornet listet einige Dinge auf, die derzeit in Browsern langsam sind, und weist die Anbieter auf sie hin. Das ist ein nützlicher Service, aber es ist nicht dasselbe wie die genaue Darstellung der tatsächlichen Leistung. RoboHornet listet einige Dinge auf, die derzeit in Browsern langsam sind, und weist die Anbieter auf sie hin. Das ist ein nützlicher Service, aber es ist nicht dasselbe wie die genaue Darstellung der tatsächlichen Leistung. RoboHornet listet einige Dinge auf, die derzeit in Browsern langsam sind, und weist die Anbieter auf sie hin. Das ist ein nützlicher Service, aber es ist nicht dasselbe wie die genaue Darstellung der tatsächlichen Leistung.
Es ist noch unklar, was genau Mozilla über Microsofts RoboHornet Pro denkt, aber jetzt, da die Ergebnisse veröffentlicht sind, werden wir um eine Stellungnahme bitten und die Geschichte entsprechend aktualisieren.
Von den verbleibenden Top-5-Browser-Anbietern verweigert Opera eine Stellungnahme, und Apple ist nicht zu erreichen.
RoboHornet Redux
RoboHornet Pro ist bereits besser gestartet als RoboHornet, weil es mit so viel mehr Browsern funktioniert als der ursprüngliche Test. Wir sind jetzt in der Lage, Ergebnisse aus den Windows 8 Metro-Versionen von Chrome und IE10 sowie Maxthon und Sleipnir sowohl unter Windows als auch unter OS X einzubeziehen. iOS-Browser können den Test jetzt auch ausführen. Wir haben Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari und Sleipnir. Während Android seinen Bestandsbrowser verliert, behält es Chrome und gewinnt Opera Mobile.
Lassen Sie uns kurz den Testaufbau zusammenfassen und dann sehen, wie all diese Browser auf RoboHornet Pro abschneiden.
