RoboHornet Redux: Alpha To Pro Dalam 24 Jam
Kecelakaan kereta suci, Batman! Akhir September adalah salah satu minggu yang aneh dan liar untuk berita browser Web.
Meskipun RoboHornet menjadi proyek GitHub independen di atas kertas, Microsoft dan lainnya tidak membelinya. Mungkin dalam perputaran tercepat dalam sejarah pengembangan, Microsoft telah membawa RoboHornet dari rilis alfa pertama ke “Pro” dalam waktu kurang dari 24 jam. Pada giliran mengejutkan lainnya, Mozilla secara resmi sependapat dengan Redmond bahwa keunggulan teknis RoboHornet dipertanyakan. Mungkin saingan berat Microsoft dan Mozilla akhirnya menyadari bahwa Google adalah musuh mereka yang sebenarnya. Lagi pula, sementara para veteran perang browser sibuk bertarung satu sama lain, Chrome hanya melenggang melewati gerbang depan dan merebut takhta.
Mari kita lihat kejadian-kejadian aneh minggu lalu yang terjadi:
Senin: Kami memecahkan cerita RoboHornet. Tes kinerja browser Web yang baru sebenarnya adalah rangkaian benchmark mikro di bidang HTML, CSS, JavaScript, DOM, dan SVG. Dalam pengujian kami, Internet Explorer 10 untuk Windows 8 mengklaim kemenangan yang menentukan, lebih dari dua kali lipat kinerja browser Web rata-rata pada referensi pembuat tes MacBook Pro (akhir 2011).
Selasa: Microsoft mengatakan “Terima kasih, tetapi tidak, terima kasih” kepada RoboHornet, menolak tes baru sebagai tolok ukur mikro yang tidak berarti yang tidak mencerminkan kinerja dunia nyata. Di bawah ini adalah kutipan dari Blog IE, dan dari bahasa yang digunakan dalam kalimat pembuka, Anda dapat mengetahui bahwa Microsoft tidak membeli bagian “benchmark independen”:
Kemarin Google merilis micro-benchmark terbarunya, RoboHornet, di mana Internet Explorer 10 mendapat skor yang cukup baik. Meskipun kami menghargai isyarat tersebut, anggota tim teknik kami melihat tolok ukur dan menemukan bahwa RoboHornet tidak sepenuhnya mewakili kinerja yang mungkin ditemui pengguna di situs dunia nyata. Seperti semua micro-benchmark, RoboHornet adalah tes lab yang hanya berfokus pada aspek tertentu dari kinerja browser. Kami memutuskan untuk mengambil micro-benchmark RoboHornet dan menjalankannya dalam konteks skenario dunia nyata. Menggunakan kemampuan browser modern seperti CSS3 Animations, CSS3 Transforms, CSS3 Text Shadows, font WOFF kustom, Unicode, Touch, dan banyak lagi, kami membuat situs yang sedikit mirip dengan Matrix yang sudah dikenal. Kami kemudian menjalankan micro-benchmark RoboHornet dalam konteks situs web yang sebenarnya ini. Saat menjalankan benchmark mikro Matrix dan RoboHornet secara bersamaan, Chrome memperlambat crawling dan berhenti menganimasikan layar, karena tidak dirancang untuk menangani beban benchmark dalam konteks skenario dunia nyata. Sementara itu Internet Explorer 10 tetap responsif, terus menghidupkan layar, dan menyelesaikan pengujian dalam waktu kurang dari separuh waktu yang dilakukan Chrome… Kami telah membuat RoboHornet Pro tersedia di IE Test Drive, sehingga Anda dapat memeriksanya sendiri.
Kemudian pada hari itu Justin Lebar dari Mozilla membuka bug di halaman GitHub RoboHornet yang berjudul Menghilangkan dan melarang benchmark mikro di mana ia menyatakan:
Jika Anda ingin kami (dalam kasus saya, Mozilla) menganggap serius robohornet, saya sangat menyarankan Anda menulis beberapa macrobenchmarks dan menghilangkan microbenchmarks dari test suite Anda.
Rabu: Penatalayan yang berafiliasi dengan Microsoft, John David Dalton, menghapus semua penyebutan Microsoft dari penatalayanan RoboHornet-nya. Sementara itu, pelayan Mozilla, Daniel Buchner, meninggalkan komite sepenuhnya.
Hari ini: Kami memiliki tanggapan resmi Mozilla terhadap bencana RoboHornet:
Ada banyak tolok ukur di luar sana dan tolok ukur yang berbeda untuk tugas tertentu yang sama dapat berperilaku sangat berbeda. Banyak tolok ukur yang melayani diri sendiri, di mana pembuat biasanya akan memilih satu set program yang menurut mereka bermanfaat untuk mendapatkan lebih cepat dan kemudian hanya setelah mengubah beban kerja ini membaginya dengan komunitas yang lebih luas. Namun, yang benar-benar perlu dimiliki oleh pengembang dan pelaksana browser di sini adalah tolok ukur yang baik yang memungkinkan kami untuk melihat kinerja holistik dengan lebih baik. Kami ingin melihat lebih banyak tolok ukur yang dibuat yang berfokus pada seluruh pengalaman konsumen–misalnya, tolok ukur yang berfokus pada interaksi dengan browser, aplikasi atau situs web populer, dan tugas umum seperti menggeser dan memperbesar pada seluler. Tolok ukur mikro, seperti RoboHornet, tidak secara akurat mencerminkan pengalaman pengguna di Web. RoboHornet bertujuan untuk mengukur kinerja nyata, tetapi gagal. RoboHornet saat ini memiliki 17 tolok ukur mikro, yang masing-masing mengukur satu hal yang dapat dilakukan situs web. Tetapi situs web nyata melakukan ratusan dan ribuan hal, jadi hampir semuanya sepenuhnya tidak diperhitungkan oleh RoboHornet. RoboHornet mencantumkan beberapa hal yang saat ini lambat di browser dan menunjukkannya untuk mendapat perhatian dari vendor. Itu adalah layanan yang berguna, tetapi tidak sama dengan merepresentasikan kinerja nyata secara akurat. RoboHornet mencantumkan beberapa hal yang saat ini lambat di browser dan menunjukkannya untuk mendapat perhatian dari vendor. Itu adalah layanan yang berguna, tetapi tidak sama dengan merepresentasikan kinerja nyata secara akurat. RoboHornet mencantumkan beberapa hal yang saat ini lambat di browser dan menunjukkannya untuk mendapat perhatian dari vendor. Itu adalah layanan yang berguna, tetapi tidak sama dengan merepresentasikan kinerja nyata secara akurat.
Masih belum jelas apa yang sebenarnya Mozilla pikirkan tentang RoboHornet Pro Microsoft, tetapi sekarang setelah hasilnya dipublikasikan, kami akan meminta pernyataan dan memperbarui cerita yang sesuai.
Dari lima vendor browser teratas yang tersisa, Opera menolak berkomentar, dan Apple tidak dapat dihubungi.
RoboHornet Redux
RoboHornet Pro sudah memulai dengan awal yang lebih baik daripada RoboHornet karena ia bekerja dengan lebih banyak browser daripada pengujian aslinya. Kami sekarang dapat menyertakan hasil dari Chrome dan IE10 versi Windows 8 Metro, serta Maxthon dan Sleipnir pada Windows dan OS X. Peramban iOS sekarang dapat menjalankan pengujian juga. Kami telah menyertakan Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari, dan Sleipnir. Sementara Android kehilangan browser bawaannya, ia mempertahankan Chrome dan mendapatkan Opera Mobile.
Mari kita rekap dengan cepat penyiapan pengujian, lalu lihat bagaimana semua browser ini berjalan di RoboHornet Pro.
