RoboHornet Redux: Alpha do Pro w 24 godziny
Święty wrak pociągu, Batmanie! Koniec września był jednym dziwnym, szalonym tygodniem dla wiadomości przeglądarki internetowej.
Pomimo tego, że RoboHornet jest niezależnym projektem GitHub na papierze, Microsoft i inni go nie kupują. Prawdopodobnie najszybszy zwrot w historii rozwoju, Microsoft przeniósł RoboHornet z pierwszej wersji alfa do „Pro” w mniej niż 24 godziny. W kolejnym zaskakującym zwrocie Mozilla formalnie zgadza się z Redmondem, że zalety techniczne RoboHornet są wątpliwe. Być może arcy-rywale Microsoft i Mozilla w końcu zdają sobie sprawę, że Google jest ich prawdziwym wrogiem. W końcu, gdy weterani wojenni przeglądarek byli zajęci walką między sobą, Chrome po prostu przeszedł przez bramę frontową i uzurpował sobie tron.
Przyjrzyjmy się zwariowanym wydarzeniom z zeszłego tygodnia, jak miały miejsce:
Poniedziałek: Zepsuliśmy historię RoboHornet. Nowy test wydajności przeglądarki internetowej jest w rzeczywistości zestawem mikro-benchmarków w obszarach HTML, CSS, JavaScript, DOM i SVG. W naszych testach Internet Explorer 10 dla Windows 8 odniósł decydujące zwycięstwo, ponad dwukrotnie zwiększając średnią wydajność przeglądarki internetowej na referencyjnym MacBooku Pro twórcy testu (koniec 2011 r.).
Wtorek: Microsoft mówi „Dzięki, ale nie dzięki” RoboHornetowi, odrzucając nowy test jako bezsensowny mikro-benchmark, który nie odzwierciedla rzeczywistej wydajności. Poniżej znajduje się fragment z bloga IE, a z języka użytego w zdaniu otwierającym można stwierdzić, że Microsoft nie kupuje części „niezależnego testu porównawczego”:
Wczoraj Google opublikował swój najnowszy mikrobenchmark, RoboHornet, w którym Internet Explorer 10 wypada dość dobrze. Chociaż doceniamy ten gest, członkowie naszego zespołu inżynierów przyjrzeli się benchmarkowi i odkryli, że RoboHornet nie jest tak reprezentatywny dla wydajności, jaką użytkownicy mogą napotkać w rzeczywistych witrynach. Podobnie jak wszystkie mikrobenchmarki, RoboHornet jest testem laboratoryjnym, który koncentruje się tylko na określonych aspektach wydajności przeglądarki. Zdecydowaliśmy się wziąć mikrobenchmark RoboHornet i uruchomić go w kontekście rzeczywistego scenariusza. Korzystając z nowoczesnych możliwości przeglądarki, takich jak CSS3 Animations, CSS3 Transforms, CSS3 Text Shadows, niestandardowe czcionki WOFF, Unicode, Touch i nie tylko, stworzyliśmy witrynę, która wygląda trochę jak znajoma Matrix. Następnie przeprowadziliśmy mikro-benchmark RoboHornet w kontekście tej prawdziwej witryny. Podczas jednoczesnego uruchamiania mikrobenchmarku Matrix i RoboHornet, Chrome spowalnia do indeksowania i przestaje animować ekran, ponieważ nie został zaprojektowany do obsługi obciążenia testowego w kontekście rzeczywistego scenariusza. Tymczasem Internet Explorer 10 pozostaje responsywny, kontynuuje animację ekranu i kończy test w czasie krótszym o połowę szybciej niż Chrome… Udostępniliśmy RoboHornet Pro na IE Test Drive, więc możesz sam to sprawdzić.
Później tego samego dnia Justin Lebar z Mozilli otworzył błąd na stronie GitHub RoboHornet zatytułowany Eliminuj i zabraniaj mikro-benchmarków, w którym stwierdza:
Jeśli chcecie, abyśmy (w moim przypadku Mozilla) potraktowali robohorneta poważnie, gorąco polecam napisać kilka makrobenchmarków i wyeliminować mikrobenchmarki ze swojego zestawu testów.
Środa: steward związany z Microsoftem, John David Dalton, usuwa wszelkie wzmianki o Microsoft ze swojego zarządzania RoboHornetem. Tymczasem steward Mozilli, Daniel Buchner, całkowicie opuszcza komitet.
Dzisiaj: Mamy oficjalną odpowiedź Mozilli na porażkę RoboHornet:
Istnieje wiele testów porównawczych, a różne testy porównawcze dla tego samego zadania mogą zachowywać się bardzo różnie. Wiele testów porównawczych jest samoobsługowych, ponieważ twórcy zazwyczaj wybierają zestaw programów, które ich zdaniem warto przyspieszyć, a dopiero po włączeniu tych obciążeń udostępniają je szerszej społeczności. Jednak to, czego naprawdę potrzebują programiści i wdrażający przeglądarki, to dobre testy porównawcze, które pozwolą nam lepiej zobaczyć całościową wydajność. Chcielibyśmy, aby powstało więcej testów porównawczych, które skupiają się na całym doświadczeniu klienta, na przykład testy, które koncentrują się na interakcji z przeglądarką, popularnych aplikacjach lub witrynach internetowych oraz typowych zadaniach, takich jak przesuwanie i powiększanie na urządzeniach mobilnych. Mikro-benchmarki, takie jak RoboHornet, nie odzwierciedlają dokładnie doświadczenia użytkownika w sieci. RoboHornet ma na celu zmierzenie rzeczywistej wydajności, ale to nie wystarcza. RoboHornet to obecnie 17 mikro-benchmarków, z których każdy mierzy jedną rzecz, którą może zrobić strona internetowa. Ale prawdziwe strony internetowe robią setki i tysiące rzeczy, więc RoboHornet nie bierze pod uwagę prawie wszystkich z nich. RoboHornet wymienia niektóre rzeczy, które są obecnie powolne w przeglądarkach i zwraca na nie uwagę producentów. To przydatna usługa, ale to nie to samo, co dokładne odwzorowanie rzeczywistej wydajności. RoboHornet wymienia niektóre rzeczy, które są obecnie powolne w przeglądarkach i zwraca na nie uwagę producentów. To przydatna usługa, ale to nie to samo, co dokładne odwzorowanie rzeczywistej wydajności. RoboHornet wymienia niektóre rzeczy, które są obecnie powolne w przeglądarkach i zwraca na nie uwagę producentów. To przydatna usługa, ale to nie to samo, co dokładne odwzorowanie rzeczywistej wydajności.
Nadal nie jest jasne, co dokładnie Mozilla myśli o RoboHornet Pro firmy Microsoft, ale teraz, gdy wyniki zostały opublikowane, poprosimy o oświadczenie i odpowiednio zaktualizujemy historię.
Z pozostałych pięciu największych producentów przeglądarek Opera odmawia komentarza, a Apple jest nieosiągalny.
RoboHornet Redux
RoboHornet Pro ma już lepszy start niż RoboHornet, ponieważ działa z o wiele większą liczbą przeglądarek niż oryginalny test. Możemy teraz uwzględnić wyniki z wersji Chrome i IE10 dla systemu Windows 8 Metro, a także Maxthon i Sleipnir w systemach Windows i OS X. Przeglądarki iOS mogą teraz również uruchomić test. Dołączyliśmy Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari i Sleipnir. Podczas gdy Android traci swoją standardową przeglądarkę, zachowuje Chrome i zyskuje Operę Mobile.
Przypomnijmy szybko konfigurację testową, a następnie zobaczmy, jak wszystkie te przeglądarki radzą sobie w RoboHornet Pro.
