RoboHornet Redux: da Alpha a Pro in 24 ore
Santo disastro ferroviario, Batman! La fine di settembre è stata una settimana strana e selvaggia per le notizie sui browser Web.
Nonostante RoboHornet sia un progetto GitHub indipendente sulla carta, Microsoft e altri non lo stanno comprando. Probabilmente la più rapida inversione di tendenza nella storia dello sviluppo, Microsoft ha portato RoboHornet dalla prima versione alpha a “Pro” in meno di 24 ore. In un’altra svolta sorprendente, Mozilla concorda formalmente con Redmond sul fatto che i meriti tecnici di RoboHornet sono discutibili. Forse i rivali storici Microsoft e Mozilla si rendono finalmente conto che Google è il loro vero nemico. Dopotutto, mentre i veterani della guerra dei browser erano impegnati a combattersi l’un l’altro, Chrome si è limitato a varcare il valzer attraverso i cancelli principali e ha usurpato il trono.
Esaminiamo gli strani eventi della scorsa settimana come si sono verificati:
Lunedì: abbiamo svelato la storia di RoboHornet. Il nuovo test delle prestazioni del browser Web è in realtà una suite di micro-benchmark nelle aree di HTML, CSS, JavaScript, DOM e SVG. Nei nostri test, Internet Explorer 10 per Windows 8 ha ottenuto una vittoria decisiva, più che raddoppiando le prestazioni medie del browser Web sul MacBook Pro di riferimento del creatore del test (fine 2011).
Martedì: Microsoft dice “Grazie, ma no grazie” a RoboHornet, liquidando il nuovo test come un micro-benchmark insignificante che non riflette le prestazioni del mondo reale. Di seguito è riportato un estratto dal blog di IE e dal linguaggio utilizzato nella frase di apertura, puoi dire che Microsoft non sta acquistando la parte “benchmark indipendente”:
Ieri Google ha rilasciato il suo ultimo micro-benchmark, RoboHornet, in cui Internet Explorer 10 ottiene un punteggio piuttosto buono. Sebbene apprezziamo il gesto, i membri del nostro team di ingegneri hanno dato un’occhiata al benchmark e hanno scoperto che RoboHornet non è così rappresentativo delle prestazioni che gli utenti potrebbero incontrare sui siti del mondo reale. Come tutti i micro-benchmark, RoboHornet è un test di laboratorio che si concentra solo su aspetti specifici delle prestazioni del browser. Abbiamo deciso di prendere il micro-benchmark RoboHornet ed eseguirlo nel contesto di uno scenario reale. Utilizzando moderne funzionalità del browser come Animazioni CSS3, Trasformazioni CSS3, Ombre di testo CSS3, caratteri WOFF personalizzati, Unicode, Touch e altro, abbiamo creato un sito che assomiglia un po’ al familiare Matrix. Abbiamo quindi eseguito il micro-benchmark RoboHornet nel contesto di questo sito Web reale. Durante l’esecuzione simultanea del micro-benchmark Matrix e RoboHornet, Chrome rallenta e smette di animare lo schermo, perché non è stato progettato per gestire un carico di riferimento nel contesto di uno scenario del mondo reale. Nel frattempo Internet Explorer 10 rimane reattivo, continua ad animare lo schermo e termina il test in meno della metà del tempo rispetto a Chrome… Abbiamo reso disponibile RoboHornet Pro su IE Test Drive, quindi puoi verificarlo tu stesso.
Più tardi quel giorno, Justin Lebar di Mozilla ha aperto un bug sulla pagina GitHub di RoboHornet intitolato Eliminare e fuorilegge i micro-benchmark in cui afferma:
Se volete che noi (nel mio caso, Mozilla) prendiamo sul serio robohornet, vi consiglio vivamente di scrivere alcuni macrobenchmark ed eliminare i microbenchmark dalla vostra suite di test.
Mercoledì: l’amministratore affiliato a Microsoft, John David Dalton, elimina ogni menzione di Microsoft dalla sua gestione RoboHornet. Nel frattempo, l’amministratore di Mozilla, Daniel Buchner, lascia completamente il comitato.
Oggi: abbiamo la risposta ufficiale di Mozilla alla debacle di RoboHornet:
Ci sono molti benchmark là fuori e diversi benchmark per lo stesso compito particolare possono comportarsi in modo molto diverso. Molti benchmark sono self-service, in quanto i creatori in genere sceglieranno una serie di programmi che ritengono valga la pena utilizzare più velocemente e solo dopo aver trasformato questi carichi di lavoro li condivideranno con la comunità più ampia. Tuttavia, ciò che gli sviluppatori e gli implementatori di browser devono davvero avere qui sono buoni benchmark che ci consentono di vedere meglio le prestazioni olistiche. Ci piacerebbe vedere più benchmark creati incentrati sull’intera esperienza del consumatore, ad esempio benchmark incentrati sull’interazione con il browser, applicazioni Web o siti popolari e attività comuni come la panoramica e lo zoom sui dispositivi mobili. I micro-benchmark, come RoboHornet, non riflettono accuratamente l’esperienza dell’utente sul Web. RoboHornet mira a misurare le prestazioni reali, ma non è all’altezza. RoboHornet è attualmente composto da 17 micro-benchmark, ognuno dei quali misura una cosa che un sito web può fare. Ma i siti Web reali fanno centinaia e migliaia di cose, quindi quasi tutti sono completamente ignorati da RoboHornet. RoboHornet elenca alcune cose che sono attualmente lente nei browser e le segnala all’attenzione dei fornitori. Questo è un servizio utile, ma non è lo stesso che rappresentare accuratamente le prestazioni reali. RoboHornet elenca alcune cose che sono attualmente lente nei browser e le segnala all’attenzione dei fornitori. Questo è un servizio utile, ma non è lo stesso che rappresentare accuratamente le prestazioni reali. RoboHornet elenca alcune cose che sono attualmente lente nei browser e le segnala all’attenzione dei fornitori. Questo è un servizio utile, ma non è lo stesso che rappresentare accuratamente le prestazioni reali.
Non è ancora chiaro cosa pensi esattamente Mozilla del RoboHornet Pro di Microsoft, ma ora che i risultati sono stati pubblicati, chiederemo una dichiarazione e aggiorneremo la storia di conseguenza.
Dei restanti primi cinque fornitori di browser, Opera si rifiuta di commentare e Apple non può essere raggiunta.
Robo Hornet Redux
RoboHornet Pro è già partito meglio di RoboHornet perché funziona con molti più browser rispetto al test originale. Ora siamo in grado di includere i risultati delle versioni Windows 8 Metro di Chrome e IE10, nonché di Maxthon e Sleipnir sia su Windows che su OS X. Anche i browser iOS possono ora eseguire il test. Abbiamo incluso Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari e Sleipnir. Mentre Android perde il suo browser di serie, mantiene Chrome e guadagna Opera Mobile.
Ricapitoliamo rapidamente la configurazione del test e poi vediamo come se la cavano tutti questi browser su RoboHornet Pro.
