RoboHornet Redux: Alpha To Pro за 24 години
Свята аварія поїзда, Бетмен! Кінець вересня був одним дивним, диким тижнем для новин веб-браузера.
Незважаючи на те, що RoboHornet на папері є незалежним проектом GitHub, Microsoft та інші не купують його. Можливо, найшвидший поворот в історії розробки, Microsoft перевела RoboHornet від першого альфа-випуску до «Pro» менш ніж за 24 години. В іншому дивовижному повороті Mozilla офіційно погоджується з Редмондом, що технічні переваги RoboHornet сумнівні. Можливо, запеклі суперники Microsoft і Mozilla нарешті зрозуміють, що Google – їхній справжній ворог. Зрештою, поки ветерани війни в браузерах були зайняті боротьбою один з одним, Chrome просто пройшов через парадні ворота і узурпував трон.
Давайте розглянемо безглузді події минулого тижня, як вони відбулися:
Понеділок: ми розповіли історію RoboHornet. Новий тест продуктивності веб-браузера насправді є набором мікротестів у областях HTML, CSS, JavaScript, DOM і SVG. Під час нашого тестування Internet Explorer 10 для Windows 8 отримав вирішальну перемогу, більш ніж удвічі перевищивши середню продуктивність веб-браузера на еталонному MacBook Pro розробника тесту (кінець 2011 року).
Вівторок: Microsoft каже RoboHornet «Дякую, але ні, спасибі», відкидаючи новий тест як безглуздий мікротест, який не відображає реальну продуктивність. Нижче наведено уривок з блогу IE, а з мови, використаної у початковому реченні, ви можете зрозуміти, що Microsoft не купує частину «незалежного тесту»:
Вчора Google випустив свій останній мікротест RoboHornet, в якому Internet Explorer 10 має досить високі результати. Незважаючи на те, що ми цінуємо цей жест, члени нашої команди інженерів переглянули тест і виявили, що RoboHornet — це не все, що представляє продуктивність, з якою користувачі можуть зіткнутися на реальних сайтах. Як і всі мікробенчмарки, RoboHornet — це лабораторний тест, який зосереджується лише на конкретних аспектах продуктивності браузера. Ми вирішили взяти мікротест RoboHornet і запустити його в контексті реального сценарію. Використовуючи такі сучасні можливості браузера, як CSS3 Animations, CSS3 Transforms, CSS3 Text Shadows, користувацькі шрифти WOFF, Unicode, Touch тощо, ми створили сайт, який трохи схожий на знайому Matrix. Потім ми запустили мікробенчмарк RoboHornet в контексті цього реального веб-сайту. Під час одночасного виконання мікротестів Matrix і RoboHornet Chrome сповільнюється до сканування й припиняє анімацію екрана, оскільки він не був розроблений для роботи з тестовим навантаженням у контексті реального сценарію. Тим часом Internet Explorer 10 продовжує реагувати, продовжує анімувати екран і закінчує тест менше ніж за половину часу, ніж Chrome… Ми зробили RoboHornet Pro доступним на IE Test Drive, тож ви можете переконатися в цьому самі.
Пізніше того ж дня Джастін Лебар з Mozilla відкрив помилку на сторінці RoboHornet у GitHub під назвою «Усунути та заборонити мікробенчмарки», де він стверджує:
Якщо ви, хлопці, хочете, щоб ми (у моєму випадку Mozilla) серйозно ставилися до robohornet, я настійно рекомендую вам написати деякі макробенчмарки та виключити мікробенчмарки зі свого пакету тестів.
Середа: керуючий Microsoft, Джон Девід Далтон, відмовився від усіх згадок про Microsoft зі свого керівництва RoboHornet. Тим часом стюард Mozilla Деніел Бюхнер повністю залишає комітет.
Сьогодні: у нас є офіційна відповідь Mozilla на катастрофу RoboHornet:
Існує багато тестів, і різні тести для одного і того ж конкретного завдання можуть діяти дуже по-різному. Багато бенчмарків користуються власними потребами, оскільки розробники зазвичай вибирають набір програм, які, на їхню думку, варто використовувати швидше, а потім лише після перемикання цих робочих навантажень надають їм доступ до широкої спільноти. Однак розробникам і розробникам браузерів дійсно потрібно мати хороші контрольні показники, які дозволяють нам краще бачити цілісну продуктивність. Ми б хотіли, щоб було створено більше контрольних показників, які зосереджуються на всьому споживчому досвіді, наприклад, контрольні показники, які зосереджуються на взаємодії з веб-переглядачем, популярними веб-програмами чи сайтами, а також звичайних завдань, як-от панорамування та масштабування на мобільному пристрої. Мікробенчмарки, як-от RoboHornet, не точно відображають досвід користувача в Інтернеті. RoboHornet прагне виміряти реальну продуктивність, але це не так. На даний момент RoboHornet — це 17 мікро-бенчмарків, кожен з яких вимірює одну річ, яку може зробити веб-сайт. Але справжні веб-сайти роблять сотні й тисячі речей, тому майже всі вони повністю не враховані RoboHornet. RoboHornet перераховує деякі речі, які зараз працюють повільно в браузерах, і вказує на них, щоб звернути увагу постачальників. Це корисна послуга, але це не те саме, що точне відображення реальної продуктивності. RoboHornet перераховує деякі речі, які зараз працюють повільно в браузерах, і вказує на них, щоб звернути увагу постачальників. Це корисна послуга, але це не те саме, що точне відображення реальної продуктивності. RoboHornet перераховує деякі речі, які зараз працюють повільно в браузерах, і вказує на них, щоб звернути увагу постачальників. Це корисна послуга, але це не те саме, що точне відображення реальної продуктивності.
Досі незрозуміло, що саме думає Mozilla про RoboHornet Pro від Microsoft, але тепер, коли результати опубліковані, ми попросимо заяву та відповідно оновимо історію.
З решти п’яти провідних постачальників браузерів Opera відмовляється коментувати, і з Apple неможливо зв’язатися.
RoboHornet Redux
RoboHornet Pro вже почав краще, ніж RoboHornet, тому що він працює з набагато більшою кількістю браузерів, ніж оригінальний тест. Тепер ми можемо включити результати з версій Chrome і IE10 для Windows 8 Metro, а також Maxthon і Sleipnir як для Windows, так і для OS X. Браузери iOS тепер також можуть запускати тест. Ми включили Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari і Sleipnir. Хоча Android втрачає стандартний браузер, він зберігає Chrome і отримує Opera Mobile.
Давайте швидко підсумуємо налаштування тесту, а потім подивимося, як працюють усі ці браузери на RoboHornet Pro.
