RoboHornet Redux: от альфы до профессионала за 24 часа
Святое крушение поезда, Бэтмен! Конец сентября был одной странной, дикой неделей для новостей о веб-браузерах.
Несмотря на то, что RoboHornet на бумаге является независимым проектом GitHub, Microsoft и другие компании его не покупают. Возможно, это самый быстрый поворот в истории разработки: Microsoft превратила RoboHornet из первой альфа-версии в «Pro» менее чем за 24 часа. С другой стороны, Mozilla официально соглашается с Редмондом в том, что технические достоинства RoboHornet сомнительны. Возможно, заклятые соперники Microsoft и Mozilla наконец осознают, что Google — их настоящий враг. В конце концов, пока ветераны войны браузеров были заняты сражением друг с другом, Chrome просто вальсировал через парадные ворота и узурпировал трон.
Давайте пройдемся по дурацким событиям прошлой недели, как они произошли:
Понедельник: Мы рассказали историю RoboHornet. Новый тест производительности веб-браузера на самом деле представляет собой набор микротестов в областях HTML, CSS, JavaScript, DOM и SVG. В нашем тестировании Internet Explorer 10 для Windows 8 одержал решительную победу, более чем вдвое увеличив среднюю производительность веб-браузера на эталонном MacBook Pro, созданном автором теста (конец 2011 г.).
Вторник: Microsoft говорит RoboHornet «спасибо, но нет», отвергая новый тест как бессмысленный микротест, который не отражает реальную производительность. Ниже приведен отрывок из блога IE, и из языка, использованного в первом предложении, вы можете сказать, что Microsoft не покупает часть «независимого теста»:
Вчера Google выпустила свой последний микротест RoboHornet, в котором Internet Explorer 10 показал довольно хорошие результаты. Хотя мы ценим этот жест, члены нашей инженерной группы взглянули на тест и обнаружили, что RoboHornet не полностью соответствует производительности, с которой пользователи могут столкнуться на реальных сайтах. Как и все микротесты, RoboHornet — это лабораторный тест, который фокусируется только на определенных аспектах производительности браузера. Мы решили взять микротест RoboHornet и запустить его в контексте реального сценария. Используя современные возможности браузера, такие как анимация CSS3, преобразования CSS3, тени текста CSS3, пользовательские шрифты WOFF, Unicode, Touch и другие, мы создали сайт, который немного похож на знакомую матрицу. Затем мы запустили микротест RoboHornet в контексте этого реального веб-сайта. При одновременном запуске микротеста Matrix и RoboHornet Chrome замедляет работу и прекращает анимацию экрана, потому что он не предназначен для обработки тестовой нагрузки в контексте реального сценария. При этом Internet Explorer 10 остается отзывчивым, продолжает анимировать экран и завершает тест менее чем в два раза быстрее, чем Chrome… Мы сделали RoboHornet Pro доступным на IE Test Drive, так что вы можете проверить это сами.
Позже в тот же день Джастин Лебар из Mozilla открыл ошибку на странице RoboHornet GitHub под названием «Устранить и объявить вне закона микротесты», где он заявляет:
Если вы, ребята, хотите, чтобы мы (в моем случае, Mozilla) серьезно относились к робохорнету, я настоятельно рекомендую вам написать несколько макротестов и исключить микробенчмарки из вашего набора тестов.
Среда: Стюард, связанный с Microsoft, Джон Дэвид Далтон, отказывается от всех упоминаний о Microsoft из своего руководства RoboHornet. Тем временем стюард Mozilla Даниэль Бюхнер полностью покидает комитет.
Сегодня: у нас есть официальный ответ Mozilla на разгром RoboHornet:
Существует множество тестов, и разные тесты для одной и той же конкретной задачи могут вести себя по-разному. Многие бенчмарки являются корыстными, поскольку создатели обычно выбирают набор программ, которые, по их мнению, стоит ускорить, и затем, только после включения этих рабочих нагрузок, делятся ими с более широким сообществом. Однако то, что действительно нужно разработчикам и разработчикам браузеров, — это хорошие тесты производительности, которые позволяют нам лучше видеть целостную производительность. Мы хотели бы, чтобы создавалось больше тестов, ориентированных на весь опыт пользователя, например, тесты, которые фокусируются на взаимодействии с браузером, популярными веб-приложениями или сайтами, а также на общих задачах, таких как панорамирование и масштабирование на мобильных устройствах. Микротесты, такие как RoboHornet, не совсем точно отражают пользовательский опыт в Интернете. RoboHornet стремится измерять реальную производительность, но этого недостаточно. В настоящее время RoboHornet представляет собой 17 микротестов, каждый из которых измеряет одну вещь, которую может сделать веб-сайт. Но настоящие веб-сайты делают сотни и тысячи вещей, поэтому RoboHornet почти все из них совершенно не учитывает. RoboHornet перечисляет некоторые вещи, которые в настоящее время работают медленно в браузерах, и обращает на них внимание поставщиков. Это полезный сервис, но это не то же самое, что точное представление реальной производительности. RoboHornet перечисляет некоторые вещи, которые в настоящее время работают медленно в браузерах, и обращает на них внимание поставщиков. Это полезный сервис, но это не то же самое, что точное представление реальной производительности. RoboHornet перечисляет некоторые вещи, которые в настоящее время работают медленно в браузерах, и обращает на них внимание поставщиков. Это полезный сервис, но это не то же самое, что точное представление реальной производительности.
До сих пор неясно, что именно Mozilla думает о Microsoft RoboHornet Pro, но теперь, когда результаты опубликованы, мы попросим сделать заявление и соответствующим образом обновить статью.
Что касается оставшейся пятерки ведущих поставщиков браузеров, Opera отказывается от комментариев, а с Apple связаться не удается.
РобоХорнет Редукс
RoboHornet Pro уже начал лучше, чем RoboHornet, потому что он работает с гораздо большим количеством браузеров, чем первоначальный тест. Теперь мы можем включить результаты из Metro-версий Chrome и IE10 для Windows 8, а также Maxthon и Sleipnir как для Windows, так и для OS X. Браузеры iOS теперь также могут запускать тест. Мы включили Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari и Sleipnir. В то время как Android теряет стандартный браузер, он сохраняет Chrome и получает Opera Mobile.
Давайте быстро повторим тестовую настройку, а затем посмотрим, как все эти браузеры работают с RoboHornet Pro.
