RoboHornet Redux: Alpha para Pro em 24 horas
Santo desastre de trem, Batman! O final de setembro foi uma semana estranha e selvagem para as notícias do navegador da Web.
Apesar do RoboHornet ser um projeto independente do GitHub no papel, a Microsoft e outros não o estão comprando. Possivelmente na reviravolta mais rápida na história do desenvolvimento, a Microsoft levou o RoboHornet da primeira versão alfa para o “Pro” em menos de 24 horas. Em outra virada surpreendente, a Mozilla concorda formalmente com Redmond que os méritos técnicos do RoboHornet são questionáveis. Talvez os arqui-rivais Microsoft e Mozilla finalmente percebam que o Google é seu verdadeiro inimigo. Afinal, enquanto os veteranos da guerra dos navegadores estavam ocupados lutando entre si, o Chrome simplesmente passou pelos portões da frente e usurpou o trono.
Vamos passar pelos eventos malucos da semana passada, conforme eles ocorreram:
Segunda-feira: Nós quebramos a história do RoboHornet. O novo teste de desempenho do navegador da Web é na verdade um conjunto de micro-benchmarks nas áreas de HTML, CSS, JavaScript, DOM e SVG. Em nossos testes, o Internet Explorer 10 para Windows 8 obteve uma vitória decisiva, mais que dobrando o desempenho médio do navegador da Web no MacBook Pro de referência do criador do teste (final de 2011).
Terça-feira: A Microsoft diz “Obrigado, mas não, obrigado” ao RoboHornet, descartando o novo teste como um micro-benchmark sem sentido que não reflete o desempenho do mundo real. Abaixo está um trecho do IE Blog, e da linguagem usada na frase de abertura, você pode dizer que a Microsoft não está comprando a parte do “benchmark independente”:
Ontem, o Google lançou seu mais recente micro-benchmark, RoboHornet, no qual o Internet Explorer 10 pontua muito bem. Embora apreciemos o gesto, membros de nossa equipe de engenharia deram uma olhada no benchmark e descobriram que o RoboHornet não é tão representativo do desempenho que os usuários podem encontrar em sites do mundo real. Como todos os micro-benchmarks, o RoboHornet é um teste de laboratório que se concentra apenas em aspectos específicos do desempenho do navegador. Decidimos pegar o micro-benchmark RoboHornet e executá-lo no contexto de um cenário do mundo real. Usando recursos de navegadores modernos, como animações CSS3, transformações CSS3, sombras de texto CSS3, fontes WOFF personalizadas, Unicode, Touch e muito mais, criamos um site que se parece um pouco com o familiar Matrix. Em seguida, executamos o micro-benchmark RoboHornet no contexto deste site real. Ao executar o micro-benchmark Matrix e RoboHornet ao mesmo tempo, o Chrome fica lento e para de animar a tela, porque não foi projetado para lidar com uma carga de benchmark no contexto de um cenário do mundo real. Enquanto isso, o Internet Explorer 10 continua responsivo, continua animando a tela e termina o teste em menos da metade do tempo que o Chrome… Disponibilizamos o RoboHornet Pro no IE Test Drive, para que você possa conferir por si mesmo.
Mais tarde naquele dia, Justin Lebar, da Mozilla, abriu um bug na página do GitHub do RoboHornet, intitulada Eliminate and outlaw micro-benchmarks, onde ele afirma:
Se vocês querem que nós (no meu caso, Mozilla) levemos o robohornet a sério, eu recomendo fortemente que você escreva alguns macrobenchmarks e elimine os microbenchmarks do seu conjunto de testes.
Quarta-feira: O administrador afiliado à Microsoft, John David Dalton, retira todas as menções à Microsoft de sua administração do RoboHornet. Enquanto isso, o administrador da Mozilla, Daniel Buchner, deixa o comitê inteiramente.
Hoje: Temos a resposta oficial da Mozilla ao desastre do RoboHornet:
Existem muitos benchmarks por aí e diferentes benchmarks para a mesma tarefa específica podem se comportar de maneira muito diferente. Muitos benchmarks são de autoatendimento, pois os criadores normalmente escolhem um conjunto de programas que eles acham que valem a pena acelerar e, somente depois de transformar essas cargas de trabalho, compartilhá-los com a comunidade mais ampla. No entanto, o que os desenvolvedores e implementadores de navegadores realmente precisam ter aqui são bons benchmarks que nos permitem ver melhor o desempenho holístico. Gostaríamos de ver mais benchmarks criados com foco em toda a experiência do consumidor – por exemplo, benchmarks que focam na interação com o navegador, aplicativos ou sites populares da Web e tarefas comuns como panorâmica e zoom em dispositivos móveis. Micro-benchmarks, como RoboHornet, não refletem com precisão a experiência do usuário na Web. O RoboHornet visa medir o desempenho real, mas fica aquém. Atualmente, o RoboHornet tem 17 micro-benchmarks, cada um dos quais mede uma coisa que um site pode fazer. Mas sites reais fazem centenas e milhares de coisas, então quase todos eles não são contabilizados pelo RoboHornet. RoboHornet lista algumas coisas que estão atualmente lentas em navegadores e as aponta para atenção dos fornecedores. Esse é um serviço útil, mas não é o mesmo que representar com precisão o desempenho real. RoboHornet lista algumas coisas que estão atualmente lentas em navegadores e as aponta para atenção dos fornecedores. Esse é um serviço útil, mas não é o mesmo que representar com precisão o desempenho real. RoboHornet lista algumas coisas que estão atualmente lentas em navegadores e as aponta para atenção dos fornecedores. Esse é um serviço útil, mas não é o mesmo que representar com precisão o desempenho real.
Ainda não está claro o que exatamente a Mozilla pensa sobre o RoboHornet Pro da Microsoft, mas agora que os resultados foram publicados, pediremos uma declaração e atualizaremos a história de acordo.
Dos cinco principais fornecedores de navegadores restantes, o Opera se recusa a comentar e a Apple não pode ser contatada.
RoboHornet Redux
O RoboHornet Pro já começou melhor do que o RoboHornet porque funciona com muito mais navegadores do que o teste original. Agora podemos incluir resultados das versões Windows 8 Metro do Chrome e IE10, assim como Maxthon e Sleipnir no Windows e OS X. Os navegadores iOS agora também podem executar o teste. Incluímos o Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari e Sleipnir. Enquanto o Android perde seu navegador padrão, ele mantém o Chrome e ganha o Opera Mobile.
Vamos recapitular rapidamente a configuração do teste e ver como todos esses navegadores se saem no RoboHornet Pro.
