Introdução
Tudo bem pessoal. Hoje temos um mimo especial para você. As duas últimas histórias do Grand Prix do navegador da Web receberam toneladas de feedback dos leitores. Mas os comentários no primeiro artigo ressoaram uma pergunta mais alta do que as outras: e o desempenho do navegador no Linux?
Ah, essa é boa.
Logo após o Web Browser Grand Prix 2, trazemos o Circuito Linux. Usando exatamente o mesmo sistema de teste que empregamos da última vez, instalamos o Ubuntu 10.04 LTS (Lucid Lynx) e os três principais navegadores de plataforma cruzada: Google Chrome, Mozilla Firefox e Opera. Não apenas declararemos um navegador baseado em Linux vencedor, mas também compararemos os resultados com os gerados no Windows 7. Como os três melhores desempenhos no Windows 7 são Opera, Chrome e Firefox, podemos declarar um vencedor que abrange ambas as plataformas também.
Drama de Dromeo
Nos últimos dois artigos, tivemos um pouco de controvérsia sobre o Dromaeo JavaScript Benchmark da Mozilla. No primeiro Grand Prix do navegador da Web, o Opera 10.50 teve uma pontuação muito melhor do que os outros quatro navegadores da Web. Como isso não afetou a vitória do Chrome de qualquer maneira, decidi deixar a pontuação altamente duvidosa do Opera persistir. Os fãs do Chrome não pareciam se importar, mas os fãs do Opera definitivamente me deixaram saber que a pontuação é ótima, e eu não deveria estar questionando isso. Na sequência da semana passada, o Opera 10.60 novamente recebeu uma pontuação incrivelmente alta no teste Dromaeo JavaScript. Dessa vez, no entanto, eu desqualifiquei o Opera do benchmark. Apesar do Opera 10.60 ainda levar com folga a coroa de velocidade do Google Chrome, os fãs do Opera realmente me deixaram tê-lo por causa do Chrome’
Agora, apenas para esclarecer as coisas, a decisão de remover o Opera da colocação no benchmark Dromaeo JavaScript não afetou o resultado final do vencedor geral. Se eu não tivesse desqualificado o Opera, tornando-o o primeiro colocado nesse teste, o Chrome ainda teria sido o campeão geral de desempenho. Embora a vitória do Chrome tenha sido pela menor margem possível, uma vantagem quantificável teria existido, no entanto. Eu não gosto de fazer essas ligações. Eu prefiro que tudo corra bem. Mas coisas acontecem e, às vezes, decisões executivas precisam ser tomadas.
Menos de uma semana depois, a retrospectiva mostra a decisão de desqualificar o Opera como a decisão certa. Desde então, contatamos as três partes envolvidas: Mozilla (autora dos benchmarks Dromaeo), Opera e Google. Abaixo está um trecho de uma declaração feita pelo vice-presidente de engenharia da Mozilla, Mike Shaver:
Até recentemente, o benchmark Dromaeo, especialmente no que diz respeito ao desempenho de expressões regulares, era muito suscetível a otimizações especificamente direcionadas a esses pontos fracos. Um mecanismo JavaScript que foi alterado especificamente para acomodar esses testes pode ver melhorias na pontuação astronômica ao subverter efetivamente o trabalho que deveria ser feito e cronometrado. O Google chamou nossa atenção para esse bug e solicitou que consertássemos o teste. Nós concordamos, já que claramente não estava testando nada útil. Essa correção de teste foi concluída na semana passada. (Enquanto isso, eles adicionaram código específico ao V8 para também “jogar” esse aspecto do benchmark, por razões competitivas.
Bem, aí está. Se o Opera ‘jogou’ intencionalmente ou não, esse benchmark ainda está no ar. Sem acesso ao código-fonte, ninguém fora do Opera saberia com certeza. Um representante da Opera ofereceu a ideia inicial de que as Otimizações Guiadas por Perfil (PGO) podem ser as culpadas pelas altas pontuações do Dromaeo vistas no Windows. Segundo o Opera, sua versão para OS X (que ainda não possui o PGO habilitado) não alcança pontuações absurdamente altas no Dromaeo. A empresa não tinha resultados disponíveis para sua versão Linux, e o representante não sabia se o pinguim tinha ou não PGO. Sem nenhum dado Linux do Opera, não podemos determinar se o PGO é realmente o culpado. Enquanto isso, ainda estamos esperando uma resposta dos desenvolvedores em Oslo para uma explicação oficial para as altas pontuações do JavaScript do Dromaeo.
No que diz respeito ao Google, graças ao Chromium, a Mozilla tem a arma fumegante nas travessuras do Dromaeo da empresa. No último artigo, relatei que o Chrome 5.0.375.89 também produziu pontuações dramaticamente altas no Dromaeo JavaScript – muito mais altas do que a pontuação que desqualificou o Opera. A Mozilla e o Google confirmaram que as pontuações 5.0.375.70 e 5.0.375.86 são bobagens. A versão final do Chrome que foi testada e publicada (5.0.375.99) obteve 290,72. O Google alega que um recurso de cache, adicionado a 5.0.375.70, mas removido em 5.0.375.99, foi o culpado. A empresa Mountain View não fez nada sobre as altas pontuações do Dromaeo naquela época, mesmo sabendo disso, porque a Opera também não.
De acordo com o Sr. Shaver, a correção de teste foi colocada em prática logo após a publicação do nosso último artigo. Desde então, reexecutamos os testes JavaScript do Dromaeo no Opera 10.60 e no Chrome 5.0.375.99 usando nosso sistema de teste Windows 7 Ultimate de 64 bits. O Opera agora recebe uma pontuação de 211,5, enquanto o Chrome ainda recebe cerca de 290. Nem a Mozilla nem o Google têm motivos para duvidar da pontuação do Chrome 5.0.375.99. Enquanto a desqualificação do Opera de nossa peça anterior permanecer, atualizaremos a pontuação JavaScript do Opera para o Windows 7 Dromeao para refletir o resultado ‘real’ nos gráficos deste artigo.
Com essa confusão atrás de nós, e sem mais delongas, que comece o benchmarking!
