RoboHornet Redux: alfa a profesional en 24 horas
¡Santo choque de trenes, Batman! El final de septiembre fue una semana extraña y salvaje para las noticias sobre navegadores web.
A pesar de que RoboHornet es un proyecto independiente de GitHub en papel, Microsoft y otros no lo están comprando. En lo que posiblemente sea el cambio más rápido en la historia del desarrollo, Microsoft ha llevado a RoboHornet de su primera versión alfa a «Pro» en menos de 24 horas. En otro giro sorprendente, Mozilla coincide formalmente con Redmond en que los méritos técnicos de RoboHornet son cuestionables. Quizás los archirrivales Microsoft y Mozilla finalmente se den cuenta de que Google es su verdadero enemigo. Después de todo, mientras los veteranos de la guerra de navegadores estaban ocupados luchando entre sí, Chrome simplemente atravesó las puertas delanteras y usurpó el trono.
Repasemos los eventos extravagantes de la semana pasada tal como ocurrieron:
Lunes: Dimos a conocer la historia de RoboHornet. La nueva prueba de rendimiento del navegador web es en realidad un conjunto de micropuntos de referencia en las áreas de HTML, CSS, JavaScript, DOM y SVG. En nuestras pruebas, Internet Explorer 10 para Windows 8 obtuvo una victoria decisiva, más del doble del rendimiento promedio del navegador web en la MacBook Pro de referencia del creador de la prueba (finales de 2011).
Martes: Microsoft dice «Gracias, pero no gracias» a RoboHornet, descartando la nueva prueba como un micro-punto de referencia sin sentido que no refleja el rendimiento del mundo real. A continuación se muestra un extracto del blog de IE, y por el lenguaje utilizado en la oración inicial, se puede decir que Microsoft no está comprando la parte del «punto de referencia independiente»:
Ayer, Google lanzó su último micro-benchmark, RoboHornet, en el que Internet Explorer 10 puntúa bastante bien. Si bien apreciamos el gesto, los miembros de nuestro equipo de ingeniería observaron el punto de referencia y descubrieron que RoboHornet no es tan representativo del rendimiento que los usuarios pueden encontrar en los sitios del mundo real. Como todos los micro-benchmarks, RoboHornet es una prueba de laboratorio que solo se enfoca en aspectos específicos del rendimiento del navegador. Decidimos tomar el micro-benchmark de RoboHornet y ejecutarlo en el contexto de un escenario del mundo real. Usando las capacidades de los navegadores modernos como CSS3 Animations, CSS3 Transforms, CSS3 Text Shadows, fuentes WOFF personalizadas, Unicode, Touch y más, creamos un sitio que se parece un poco al Matrix familiar. Luego ejecutamos el micro-benchmark RoboHornet en el contexto de este sitio web real. Mientras ejecuta el micro-benchmark de Matrix y RoboHornet al mismo tiempo, Chrome se ralentiza y deja de animar la pantalla, porque no fue diseñado para manejar una carga de benchmark en el contexto de un escenario del mundo real. Mientras tanto, Internet Explorer 10 sigue respondiendo, sigue animando la pantalla y finaliza la prueba en menos de la mitad del tiempo que lo hace Chrome… Hicimos que RoboHornet Pro esté disponible en IE Test Drive, para que puedas comprobarlo por ti mismo.
Más tarde ese mismo día, Justin Lebar de Mozilla abrió un error en la página GitHub de RoboHornet titulado Eliminar y prohibir los micro-puntos de referencia donde afirma:
Si quieren que nosotros (en mi caso, Mozilla) nos tomemos en serio a robohornet, les recomiendo que escriban algunos macropuntos de referencia y eliminen los micropuntos de referencia de su conjunto de pruebas.
Miércoles: el administrador afiliado a Microsoft, John David Dalton, elimina toda mención de Microsoft de su administración de RoboHornet. Mientras tanto, el administrador de Mozilla, Daniel Buchner, deja el comité por completo.
Hoy: Tenemos la respuesta oficial de Mozilla a la debacle de RoboHornet:
Existen muchos puntos de referencia y diferentes puntos de referencia para la misma tarea en particular pueden comportarse de manera muy diferente. Muchos puntos de referencia son egoístas, en el sentido de que los creadores normalmente eligen un conjunto de programas que creen que vale la pena acelerar y luego, solo después de convertir estas cargas de trabajo, los comparten con la comunidad en general. Sin embargo, lo que los desarrolladores e implementadores de navegadores realmente necesitan aquí son buenos puntos de referencia que nos permitan ver mejor el rendimiento holístico. Nos gustaría ver más puntos de referencia creados que se centren en toda la experiencia del consumidor; por ejemplo, puntos de referencia que se centren en la interacción con el navegador, aplicaciones o sitios web populares y tareas comunes como desplazarse y hacer zoom en dispositivos móviles. Los micropuntos de referencia, como RoboHornet, no reflejan con precisión la experiencia del usuario en la Web. RoboHornet pretende medir el rendimiento real, pero se queda corto. RoboHornet tiene actualmente 17 micro-benchmarks, cada uno de los cuales mide una cosa que un sitio web puede hacer. Pero los sitios web reales hacen cientos y miles de cosas, por lo que RoboHornet no tiene en cuenta casi todos. RoboHornet enumera algunas cosas que actualmente son lentas en los navegadores y las señala para llamar la atención de los proveedores. Es un servicio útil, pero no es lo mismo que representar con precisión el rendimiento real. RoboHornet enumera algunas cosas que actualmente son lentas en los navegadores y las señala para llamar la atención de los proveedores. Es un servicio útil, pero no es lo mismo que representar con precisión el rendimiento real. RoboHornet enumera algunas cosas que actualmente son lentas en los navegadores y las señala para llamar la atención de los proveedores. Es un servicio útil, pero no es lo mismo que representar con precisión el rendimiento real.
Todavía no está claro qué piensa exactamente Mozilla sobre RoboHornet Pro de Microsoft, pero ahora que se publican los resultados, solicitaremos una declaración y actualizaremos la historia en consecuencia.
De los cinco principales proveedores de navegadores restantes, Opera se niega a comentar y no se puede contactar a Apple.
RoboHornet Redux
RoboHornet Pro ya ha tenido un mejor comienzo que RoboHornet porque funciona con muchos más navegadores que la prueba original. Ahora podemos incluir resultados de las versiones Windows 8 Metro de Chrome e IE10, así como Maxthon y Sleipnir en Windows y OS X. Los navegadores iOS ahora también pueden ejecutar la prueba. Hemos incluido Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari y Sleipnir. Si bien Android pierde su navegador estándar, conserva Chrome y gana Opera Mobile.
Recapitulemos rápidamente la configuración de prueba y luego veamos cómo les va a todos estos navegadores en RoboHornet Pro.
