RoboHornet Redux : Alpha à Pro en 24 heures
Sacré accident de train, Batman ! La fin du mois de septembre a été une semaine étrange et sauvage pour l’actualité des navigateurs Web.
Bien que RoboHornet soit un projet GitHub indépendant sur papier, Microsoft et d’autres ne l’achètent pas. Dans probablement le revirement le plus rapide de l’histoire du développement, Microsoft a fait passer RoboHornet de la première version alpha à « Pro » en moins de 24 heures. Dans une autre tournure surprenante, Mozilla est officiellement d’accord avec Redmond sur le fait que les mérites techniques de RoboHornet sont discutables. Peut-être que les grands rivaux Microsoft et Mozilla réalisent enfin que Google est leur véritable ennemi. Après tout, alors que les vétérans de la guerre des navigateurs étaient occupés à se battre, Chrome a juste traversé les portes d’entrée et a usurpé le trône.
Passons en revue les événements loufoques de la semaine dernière tels qu’ils se sont produits :
Lundi : Nous avons dévoilé l’histoire de RoboHornet. Le nouveau test de performance du navigateur Web est en fait une suite de micro-benchmarks dans les domaines HTML, CSS, JavaScript, DOM et SVG. Lors de nos tests, Internet Explorer 10 pour Windows 8 a remporté une victoire décisive, doublant plus que la performance moyenne du navigateur Web sur le MacBook Pro de référence du créateur du test (fin 2011).
Mardi : Microsoft dit « Merci, mais non merci » à RoboHornet, rejetant le nouveau test comme un micro-benchmark dénué de sens qui ne reflète pas les performances réelles. Vous trouverez ci-dessous un extrait du blog IE, et d’après le langage utilisé dans la phrase d’ouverture, vous pouvez dire que Microsoft n’achète pas la partie « référence indépendante »:
Google a publié hier son dernier micro-benchmark, RoboHornet, dans lequel Internet Explorer 10 se classe plutôt bien. Bien que nous apprécions le geste, les membres de notre équipe d’ingénieurs ont examiné la référence et ont constaté que RoboHornet n’est pas tout à fait représentatif des performances que les utilisateurs pourraient rencontrer sur des sites réels. Comme tous les micro-benchmarks, RoboHornet est un test de laboratoire qui se concentre uniquement sur des aspects spécifiques des performances du navigateur. Nous avons décidé de prendre le micro-benchmark RoboHornet et de l’exécuter dans le contexte d’un scénario réel. En utilisant des fonctionnalités de navigateur modernes telles que les animations CSS3, les transformations CSS3, les ombres de texte CSS3, les polices WOFF personnalisées, Unicode, Touch, etc., nous avons créé un site qui ressemble un peu à la matrice familière. Nous avons ensuite exécuté le micro-benchmark RoboHornet dans le contexte de ce site Web réel. Lors de l’exécution simultanée des micro-benchmarks Matrix et RoboHornet, Chrome ralentit et arrête d’animer l’écran, car il n’a pas été conçu pour gérer une charge de référence dans le contexte d’un scénario réel. Pendant ce temps, Internet Explorer 10 reste réactif, continue d’animer l’écran et termine le test en moins de la moitié du temps que Chrome fait… Nous avons rendu RoboHornet Pro disponible sur IE Test Drive, afin que vous puissiez le vérifier par vous-même.
Plus tard dans la journée, Justin Lebar de Mozilla a ouvert un bogue sur la page GitHub de RoboHornet intitulé Eliminate and outlaw micro-benchmarks où il déclare :
Si vous voulez que nous (dans mon cas, Mozilla) prenions robohornet au sérieux, je vous recommande fortement d’écrire des macrobenchmarks et d’éliminer les microbenchmarks de votre suite de tests.
Mercredi : L’intendant affilié à Microsoft, John David Dalton, supprime toute mention de Microsoft de sa gestion RoboHornet. Pendant ce temps, l’intendant de Mozilla, Daniel Buchner, quitte entièrement le comité.
Aujourd’hui : nous avons la réponse officielle de Mozilla à la débâcle de RoboHornet :
Il existe de nombreux benchmarks et différents benchmarks pour la même tâche particulière peuvent se comporter très différemment. De nombreux benchmarks sont égoïstes, en ce sens que les créateurs choisissent généralement un ensemble de programmes qu’ils jugent intéressants d’accélérer, puis seulement après avoir transformé ces charges de travail, les partagent avec la communauté au sens large. Cependant, ce dont les développeurs et les implémenteurs de navigateurs ont vraiment besoin ici, ce sont de bons repères qui nous permettent de mieux voir les performances globales. Nous aimerions voir créer davantage de benchmarks axés sur l’ensemble de l’expérience client, par exemple, des benchmarks axés sur l’interaction avec le navigateur, les applications ou sites Web populaires et les tâches courantes telles que le panoramique et le zoom sur mobile. Les micro-benchmarks, comme RoboHornet, ne reflètent pas fidèlement l’expérience utilisateur sur le Web. RoboHornet vise à mesurer les performances réelles, mais il échoue. RoboHornet compte actuellement 17 micro-benchmarks, chacun mesurant une chose qu’un site Web peut faire. Mais les vrais sites Web font des centaines et des milliers de choses, donc presque tous sont entièrement ignorés par RoboHornet. RoboHornet répertorie certaines choses qui sont actuellement lentes dans les navigateurs et les signale à l’attention des fournisseurs. C’est un service utile, mais ce n’est pas la même chose que de représenter avec précision les performances réelles. RoboHornet répertorie certaines choses qui sont actuellement lentes dans les navigateurs et les signale à l’attention des fournisseurs. C’est un service utile, mais ce n’est pas la même chose que de représenter avec précision les performances réelles. RoboHornet répertorie certaines choses qui sont actuellement lentes dans les navigateurs et les signale à l’attention des fournisseurs. C’est un service utile, mais ce n’est pas la même chose que de représenter avec précision les performances réelles.
On ne sait toujours pas exactement ce que Mozilla pense du RoboHornet Pro de Microsoft, mais maintenant que les résultats sont publiés, nous allons demander une déclaration et mettre à jour l’histoire en conséquence.
Parmi les cinq principaux fournisseurs de navigateurs restants, Opera refuse de commenter et Apple est injoignable.
RoboHornet Redux
RoboHornet Pro a déjà pris un meilleur départ que RoboHornet car il fonctionne avec beaucoup plus de navigateurs que le test d’origine. Nous sommes désormais en mesure d’inclure les résultats des versions Windows 8 Metro de Chrome et IE10, ainsi que Maxthon et Sleipnir sur Windows et OS X. Les navigateurs iOS peuvent désormais également exécuter le test. Nous avons inclus Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari et Sleipnir. Alors qu’Android perd son navigateur d’origine, il conserve Chrome et gagne Opera Mobile.
Récapitulons rapidement la configuration du test, puis voyons comment tous ces navigateurs fonctionnent sur RoboHornet Pro.
