RoboHornet Redux: Alpha To Pro ใน 24 ชั่วโมง
ซากรถไฟศักดิ์สิทธิ์ แบทแมน! ปลายเดือนกันยายนเป็นสัปดาห์ที่แปลกและแปลกประหลาดสำหรับข่าวเว็บเบราว์เซอร์
แม้ว่า RoboHornet จะเป็นโปรเจ็กต์ GitHub อิสระบนกระดาษ Microsoft และบริษัทอื่นๆ ก็ไม่ได้ซื้อมัน Microsoft ได้นำ RoboHornet จากการเปิดตัวอัลฟ่าครั้งแรกเป็น “Pro” ซึ่งอาจเป็นการพลิกกลับเร็วที่สุดในประวัติศาสตร์การพัฒนาในเวลาไม่ถึง 24 ชั่วโมง ในทางกลับกันที่น่าแปลกใจอีกประการหนึ่ง Mozilla เห็นด้วยกับ Redmond อย่างเป็นทางการว่าข้อดีทางเทคนิคของ RoboHornet นั้นเป็นที่น่าสงสัย บางทีคู่แข่งสำคัญ Microsoft และ Mozilla ในที่สุดก็รู้ว่า Google เป็นศัตรูที่แท้จริงของพวกเขา ในขณะที่ทหารผ่านศึกในสงครามเบราว์เซอร์กำลังยุ่งอยู่กับการต่อสู้กัน Chrome เพิ่งเดินผ่านประตูหน้าและแย่งชิงบัลลังก์
ผ่านเหตุการณ์แปลกประหลาดของสัปดาห์ที่แล้วตามที่เกิดขึ้น:
วันจันทร์: เราทำลายเรื่องราวของ RoboHornet การทดสอบประสิทธิภาพของเว็บเบราว์เซอร์ใหม่เป็นชุดของเกณฑ์มาตรฐานขนาดเล็กในด้าน HTML, CSS, JavaScript, DOM และ SVG ในการทดสอบของเรา Internet Explorer 10 สำหรับ Windows 8 อ้างว่าได้รับชัยชนะอย่างเด็ดขาด มากกว่าสองเท่าของประสิทธิภาพเว็บเบราว์เซอร์โดยเฉลี่ยใน MacBook Pro อ้างอิงของผู้สร้างการทดสอบ (ปลายปี 2011)
วันอังคาร: Microsoft กล่าวว่า “ขอบคุณ แต่ไม่เป็นไร” สำหรับ RoboHornet โดยถือว่าการทดสอบใหม่นี้เป็นเกณฑ์มาตรฐานขนาดเล็กที่ไม่มีความหมายซึ่งไม่ได้สะท้อนถึงประสิทธิภาพในโลกแห่งความเป็นจริง ด้านล่างนี้เป็นข้อความที่ตัดตอนมาจาก IE Blog และจากภาษาที่ใช้ในประโยคเปิด คุณสามารถบอกได้ว่า Microsoft ไม่ได้ซื้อส่วน “การวัดประสิทธิภาพอิสระ”:
เมื่อวานนี้ Google เปิดตัวมาตรฐานไมโครมาตรฐานล่าสุด RoboHornet ซึ่ง Internet Explorer 10 ให้คะแนนค่อนข้างดี ในขณะที่เราชื่นชมกับท่าทางนี้ สมาชิกของทีมวิศวกรของเราได้ดูเกณฑ์มาตรฐานและพบว่า RoboHornet ไม่ใช่เพียงตัวแทนของประสิทธิภาพการทำงานที่ผู้ใช้อาจพบในไซต์จริง เช่นเดียวกับเกณฑ์มาตรฐานไมโครทั้งหมด RoboHornet เป็นการทดสอบในห้องปฏิบัติการที่เน้นเฉพาะด้านที่เฉพาะเจาะจงของประสิทธิภาพของเบราว์เซอร์ เราตัดสินใจใช้เกณฑ์มาตรฐานขนาดเล็กของ RoboHornet และเรียกใช้ในบริบทของสถานการณ์จริง การใช้ความสามารถของเบราว์เซอร์ที่ทันสมัย เช่น CSS3 Animations, CSS3 Transforms, CSS3 Text Shadows, แบบอักษร WOFF แบบกำหนดเอง, Unicode, Touch และอื่นๆ เราได้สร้างไซต์ที่ดูเหมือน Matrix ที่คุ้นเคยเล็กน้อย จากนั้นเราจึงใช้เกณฑ์มาตรฐานขนาดเล็กของ RoboHornet ในบริบทของเว็บไซต์จริงนี้ ขณะเรียกใช้ทั้งเมตริกซ์และ RoboHornet micro-benchmark พร้อมกัน Chrome จะช้าในการรวบรวมข้อมูลและหยุดทำให้หน้าจอเคลื่อนไหว เนื่องจากไม่ได้ออกแบบมาเพื่อรองรับโหลดเกณฑ์มาตรฐานในบริบทของสถานการณ์จริง ในขณะเดียวกัน Internet Explorer 10 ยังคงตอบสนอง ทำให้หน้าจอเคลื่อนไหวต่อไป และเสร็จสิ้นการทดสอบภายในเวลาไม่ถึงครึ่งของเวลาที่ Chrome ทำ… เราได้ทำให้ RoboHornet Pro พร้อมใช้งานบน IE Test Drive ดังนั้นคุณจึงสามารถตรวจสอบได้ด้วยตัวเอง
ต่อมาในวันนั้น Justin Lebar แห่ง Mozilla ได้เปิดข้อบกพร่องในหน้า GitHub ของ RoboHornet ที่ชื่อว่า Eliminate and outlaw micro-benchmarks โดยเขากล่าวว่า:
หากคุณต้องการให้เรา (ในกรณีของฉันคือ Mozilla) ให้ความสำคัญกับ robohornet อย่างจริงจัง ฉันขอแนะนำอย่างยิ่งให้คุณเขียน macrobenchmarks และกำจัด microbenchmarks ออกจากชุดทดสอบของคุณ
วันพุธ: John David Dalton สจ๊วตในเครือ Microsoft เลิกพูดถึง Microsoft ทั้งหมดจากการดูแล RoboHornet ของเขา ในขณะเดียวกัน Daniel Buchner สจ๊วต Mozilla ออกจากคณะกรรมการโดยสิ้นเชิง
วันนี้: เรามีการตอบสนองอย่างเป็นทางการของ Mozilla ต่อการล่มสลายของ RoboHornet:
มีเกณฑ์มาตรฐานจำนวนมากและเกณฑ์มาตรฐานที่แตกต่างกันสำหรับงานเฉพาะเดียวกันสามารถทำงานแตกต่างกันมาก เกณฑ์มาตรฐานจำนวนมากเป็นแบบบริการตนเอง โดยที่ผู้สร้างมักจะเลือกชุดโปรแกรมที่พวกเขาคิดว่าคุ้มค่าที่จะดำเนินการให้เร็วขึ้น จากนั้นหลังจากเปลี่ยนภาระงานเหล่านี้แล้วจะแชร์กับชุมชนในวงกว้างเท่านั้น อย่างไรก็ตาม สิ่งที่นักพัฒนาและผู้ปรับใช้เบราว์เซอร์จำเป็นต้องมีจริงๆ ที่นี่คือเกณฑ์มาตรฐานที่ดี ซึ่งช่วยให้เรามองเห็นประสิทธิภาพแบบองค์รวมได้ดีขึ้น เราต้องการดูการวัดประสิทธิภาพเพิ่มเติมที่สร้างขึ้นโดยมุ่งเน้นที่ประสบการณ์ของผู้บริโภคทั้งหมด เช่น การวัดประสิทธิภาพที่เน้นการโต้ตอบกับเบราว์เซอร์ เว็บแอปพลิเคชันหรือไซต์ยอดนิยม และงานทั่วไป เช่น การเลื่อนและการซูมบนมือถือ เกณฑ์มาตรฐานระดับไมโคร เช่น RoboHornet ไม่ได้สะท้อนถึงประสบการณ์ของผู้ใช้บนเว็บอย่างถูกต้อง RoboHornet ตั้งเป้าที่จะวัดประสิทธิภาพจริงแต่ยังไม่เพียงพอ RoboHornet ในปัจจุบันมี 17 micro-benchmarks ซึ่งแต่ละอันวัดสิ่งหนึ่งที่เว็บไซต์สามารถทำได้ แต่เว็บไซต์จริงทำสิ่งต่างๆ ได้เป็นร้อยเป็นพัน ดังนั้น RoboHornet เกือบทั้งหมดจึงแทบไม่ได้กล่าวถึงเลย RoboHornet แสดงรายการบางอย่างที่ช้าในเบราว์เซอร์และชี้ให้เห็นถึงความสนใจจากผู้ขาย นั่นเป็นบริการที่มีประโยชน์ แต่ก็ไม่เหมือนกับการแสดงประสิทธิภาพที่แท้จริงอย่างแม่นยำ RoboHornet แสดงรายการบางอย่างที่ช้าในเบราว์เซอร์และชี้ให้เห็นถึงความสนใจจากผู้ขาย นั่นเป็นบริการที่มีประโยชน์ แต่ก็ไม่เหมือนกับการแสดงประสิทธิภาพที่แท้จริงอย่างแม่นยำ RoboHornet แสดงรายการบางอย่างที่ช้าในเบราว์เซอร์และชี้ให้เห็นถึงความสนใจจากผู้ขาย นั่นเป็นบริการที่มีประโยชน์ แต่ก็ไม่เหมือนกับการแสดงประสิทธิภาพที่แท้จริงอย่างแม่นยำ
ยังไม่ชัดเจนว่า Mozilla คิดอย่างไรเกี่ยวกับ RoboHornet Pro ของ Microsoft แต่ตอนนี้ผลลัพธ์ได้รับการเผยแพร่แล้ว เราจะขอคำชี้แจงและอัปเดตเรื่องราวตามนั้น
ในบรรดาผู้จำหน่ายเบราว์เซอร์ 5 อันดับแรกที่เหลือ Opera ปฏิเสธที่จะแสดงความคิดเห็น และไม่สามารถติดต่อ Apple ได้
RoboHornet Redux
RoboHornet Pro เริ่มต้นได้ดีกว่า RoboHornet อยู่แล้ว เพราะใช้งานได้กับเบราว์เซอร์มากกว่าการทดสอบดั้งเดิมมากมาย ขณะนี้ เราสามารถรวมผลลัพธ์จาก Chrome และ IE10 เวอร์ชัน Windows 8 Metro รวมถึง Maxthon และ Sleipnir ทั้งใน Windows และ OS X เบราว์เซอร์ iOS สามารถทำการทดสอบได้เช่นกัน เราได้รวม Yahoo! Axis, Google Chrome, Dolphin, Mozilla Firefox, Maxthon, Apple Safari และ Sleipnir แม้ว่า Android จะสูญเสียเบราว์เซอร์สต็อก แต่ก็ยังคง Chrome ไว้และได้รับ Opera Mobile
มาสรุปการตั้งค่าการทดสอบอย่างรวดเร็ว แล้วมาดูกันว่าเบราว์เซอร์เหล่านี้มีประโยชน์อย่างไรใน RoboHornet Pro
