Introduction
D’accord les gens. Aujourd’hui, nous avons un traitement spécial pour vous. Les deux dernières histoires du Grand Prix du navigateur Web ont reçu des tonnes de commentaires des lecteurs. Mais les commentaires du premier article faisaient résonner une question plus fort que les autres : qu’en est-il des performances des navigateurs sous Linux ?
Ah, c’est un bon.
Dans la foulée du Web Browser Grand Prix 2, nous vous présentons The Linux Circuit. En utilisant exactement le même système de test que celui que nous avons utilisé la dernière fois, nous avons installé Ubuntu 10.04 LTS (Lucid Lynx) et les trois principaux navigateurs Web multiplateformes : Google Chrome, Mozilla Firefox et Opera. Non seulement nous déclarerons un navigateur Linux gagnant, mais nous comparerons également les résultats à ceux générés sous Windows 7. Étant donné que les trois meilleurs navigateurs sous Windows 7 sont Opera, Chrome et Firefox, nous pouvons déclarer un gagnant qui couvre également les deux plates-formes.
Drame Dromaeo
Au cours des deux derniers articles, nous avons eu un peu de controverse concernant le Dromaeo JavaScript Benchmark de Mozilla. Lors du premier Grand Prix des navigateurs Web, Opera 10.50 a obtenu de bien meilleurs résultats que les quatre autres navigateurs Web. Comme cela n’a pas affecté la victoire de Chrome de toute façon, j’ai décidé de laisser persister le score très douteux d’Opera. Les fans de Chrome ne semblaient pas s’en soucier, mais les fans d’Opera m’ont définitivement fait savoir que le score est juste génial, et je ne devrais pas le remettre en question. Dans la suite de la semaine dernière, Opera 10.60 a de nouveau reçu un score incroyablement élevé au test Dromaeo JavaScript. Cette fois, cependant, j’ai disqualifié Opera du benchmark. Bien qu’Opera 10.60 prenne toujours la couronne de vitesse de Google Chrome, les fans d’Opera m’ont vraiment laissé l’avoir à cause de Chrome ‘
Maintenant, juste pour remettre les pendules à l’heure, la décision de retirer Opera de la place dans le benchmark Dromaeo JavaScript n’a pas affecté le résultat final du grand vainqueur. Si je n’avais pas disqualifié Opera, ce qui en faisait la première place pour ce test, Chrome aurait toujours été le champion de la performance globale. Bien que la victoire de Chrome aurait été la plus petite marge possible, une avance quantifiable aurait néanmoins existé. Je n’aime pas passer ces appels. Je préférerais de loin que tout se passe bien. Mais des choses arrivent, et parfois des décisions exécutives doivent être prises.
Moins d’une semaine plus tard, le recul montre que la décision de disqualifier Opera était la bonne décision. Nous avons depuis contacté les trois acteurs concernés : Mozilla (auteur des benchmarks Dromaeo), Opera et Google. Ci-dessous, un extrait d’une déclaration faite par le vice-président de l’ingénierie de Mozilla, Mike Shaver :
Jusqu’à récemment, le benchmark Dromaeo, en particulier en ce qui concerne les performances des expressions régulières, était très sensible aux optimisations spécifiquement ciblées sur ces faiblesses. Un moteur JavaScript spécialement modifié pour s’adapter à ces tests pourrait voir des améliorations de score astronomiques en subvertissant efficacement le travail qui est censé être fait et chronométré. Google a porté ce bogue à notre attention et a demandé que nous corrigions le test. Nous avons accepté, car il ne testait clairement rien d’utile. Ce correctif de test a été terminé la semaine dernière. (En attendant, ils ont ajouté un code spécifique à V8 pour « jouer » également cet aspect du benchmark, pour des raisons de concurrence.
Bien, tu l’as maintenant. Qu’Opera ait intentionnellement « joué » ou non, cette référence est toujours en suspens. Sans accès au code source, personne en dehors d’Opera ne le saurait avec certitude. Un représentant d’Opera a proposé l’idée initiale que les optimisations guidées par le profil (PGO) pourraient être à l’origine des scores élevés de Dromaeo observés dans Windows. Selon Opera, sa version OS X (qui n’a pas encore activé PGO) n’atteint pas des scores absurdement élevés dans Dromaeo. La société n’avait aucun résultat disponible pour sa version Linux, et le représentant ne savait pas si le pingouin avait PGO ou non. Sans aucune donnée Linux d’Opera, nous ne pouvons pas déterminer davantage si PGO est vraiment le coupable. En attendant, nous attendons toujours une réponse des développeurs d’Oslo pour une explication officielle des scores élevés de Dromaeo JavaScript.
En ce qui concerne Google, grâce à Chromium, Mozilla a le pistolet irréfutable sur les manigances Dromaeo de l’entreprise. Dans le dernier article, j’ai signalé que Chrome 5.0.375.89 a également donné des scores JavaScript Dromaeo extrêmement élevés – bien supérieurs au score qui a disqualifié Opera. Mozilla et Google ont tous deux confirmé que les scores 5.0.375.70 et 5.0.375.86 sont faux. La version finale de Chrome qui a été testée et publiée (5.0.375.99) a obtenu un score de 290,72. Google soutient qu’une fonctionnalité de mise en cache, ajoutée à 5.0.375.70 mais ensuite supprimée dans 5.0.375.99, était à blâmer. La société Mountain View n’a rien fait à propos des scores élevés de Dromaeo à l’époque, même si elle en était consciente, car Opera non plus.
Selon M. Shaver, le correctif de test a été mis en place peu de temps après la publication de notre dernier article. Depuis, nous avons réexécuté les tests Dromaeo JavaScript sur Opera 10.60 et Chrome 5.0.375.99 à l’aide de notre système de test Windows 7 Ultimate 64 bits. Opera obtient maintenant un score de 211,5, tandis que Chrome gagne toujours environ 290. Ni Mozilla ni Google n’ont de raison de douter du score de Chrome 5.0.375.99. Bien que la disqualification d’Opera de notre pièce précédente soit maintenue, nous mettrons à jour le score JavaScript Windows 7 Dromeao d’Opera pour refléter le résultat « réel » dans les graphiques de cet article.
Ce brouhaha derrière nous, et sans plus tarder, que le benchmarking commence !
