ไมโครซอฟท์เผยกระบวนการทดสอบประสิทธิภาพของ Internet Explorer 10 ที่จะมากับ Windows 8 โดยสร้าง IE Performance Lab จำลองสถานการณ์จริงบนอินเทอร์เน็ต แล้ววัดประสิทธิภาพทุกแง่มุม ซึ่งเป็นกรณีน่าศึกษาสำหรับคนที่ทำงานด้าน testing และ QA ประสิทธิภาพของซอฟต์แวร์

IE Performance Lab เป็นเครือข่ายปิด ไม่ได้เชื่อมต่อกับเครือข่ายภายนอกใดๆ รวมถึงอินทราเน็ตของไมโครซอฟท์เอง มันประกอบขึ้นด้วยคอมพิวเตอร์จำนวน 140 เครื่อง ระบบเครือข่ายจำลองที่เหมือนอินเทอร์เน็ตแทบทุกประการ ไม่ว่าจะเป็นเว็บเซิร์ฟเวอร์, DNS, เราเตอร์, และระบบจำลองเครือข่ายชนิดต่างๆ

ระบบฮาร์ดแวร์และโครงสร้างพื้นฐาน

ระบบฮาร์ดแวร์ใน IE Performance Lab แบ่งได้เป็น 3 ส่วนใหญ่ๆ

ระบบเซิร์ฟเวอร์และเครือข่าย

ไมโครซอฟท์จะดูดเว็บจริงๆ ที่ใช้ในสถานการณ์จริงมาเก็บไว้บนเว็บเซิร์ฟเวอร์ภายใน และแปลงข้อมูลบางอย่างที่เคย dynamic (เช่น ฟังก์ชัน Math.Random() หรือ Date ของจาวาสคริปต์) ให้เป็นค่าแบบ static หรือดัดแปลงลิงก์ของโฆษณาให้เชื่อมไปยังเว็บใดเว็บหนึ่งโดยตรง เว็บเพจทั้งหมดจะถูกเก็บไว้ในแรมของเซิร์ฟเวอร์ เพื่อตัดความแปรปรวนของการอ่านเนื้อหาจากดิสก์

ส่วนระบบเครือข่ายจะมีตัว emulator จำลองลักษณะของเครือข่ายแบบต่างๆ ไม่ว่าจะเป็น DSL, cable modem, 56k modem, WAN, 4G เพื่อทดสอบความเป็นไปได้ มันสามารถจำลองได้ถึงขนาดจำนวน hop ของการส่งแพกเก็ตหรือ latency time

ระบบ DNS server ก็มีหลายตัวตามแต่เครือข่ายจำลองแต่ละชนิด ซึ่งเหมือนกับการใช้งานของผู้ใช้จริงทุกประการ

เครื่องลูกข่ายที่ใช้ทดสอบ

มีคอมพิวเตอร์จำนวน 120 เครื่อง ตั้งแต่ระดับ Core i7 ไปจนถึง Atom และแท็บเล็ต ARM ส่วนระบบปฏิบัติการก็หลากหลาย ทั้ง Windows Vista/7/8 แบบ 32 และ 64 บิต ทั้งหมดเป็นเครื่องจริงไม่ได้รันบน virtual machine

ไมโครซอฟท์จะรันเทสต์ IE บนเครื่องเหล่านี้วันละ 200 ครั้ง แต่ละวันจะเก็บสถิติจำนวน 5.7 ล้านชิ้น คิดเป็นข้อมูล 480GB การทดสอบหนึ่งครั้งใช้เวลา 6 ชั่วโมง และได้ข้อมูลออกมา 22GB

การทดสอบทั้งหมดจะรันอัตโนมัติตลอด 24 ชั่วโมง มีระบบ computer pool ให้หยิบยืมพลังประมวลผลในกรณีที่ฮาร์ดแวร์บางตัวพังลงไป นอกจากนี้ถ้าคอมพิวเตอร์ไม่หลากหลายพอ IE Performance Lab ยังสามารถไปยืมคอมพิวเตอร์จากห้องแล็บอีกห้องคือ Windows Graphics Lab ที่ทดสอบ GPU สารพัดรุ่นในตลาดได้อีกด้วย

ระบบวิเคราะห์ข้อมูลและออกรายงาน

ระบบที่สามใช้เซิร์ฟเวอร์ 11 เครื่อง เครื่องละ 16 คอร์ แรม 16GB นำข้อมูลที่ได้จากการรันทดสอบมาประมวลผล แปลงข้อมูลดิบลง SQL โดย 1 วันจะต้องคำนวณข้อมูลดิบ 15,000 ชิ้น แล้วส่งต่อไปยังระบบวิเคราะห์ข้อมูลต่อไป

การทดสอบ

ไมโครซอฟท์แบ่งการทดสอบออกเป็น 4 ประเภท แต่ละประเภทจะมีส่วนที่เหลื่อมซ้อนกันเล็กน้อย

• loading content หรือการวัดผลการโหลดหน้าเว็บตามปกติ ซึ่งเป็นสิ่งที่ผู้ใช้ทำมากที่สุดบน IE
• interactive web apps ทดสอบเว็บแอพที่ใช้ AJAX/Web 2.0 ในกรณีนี้รวมถึง Outlook Web Access และ Office Web Apps
• IE “the application” ทดสอบประสิทธิภาพการทำงานของตัวโปรแกรม IE เอง เช่น เปิด-ปิดโปรแกรม เปลี่ยนแท็บ
• synthetic benchmarks รันเบนช์มาร์คยอดนิยมอย่าง SunSpider และตัวอื่นๆ

ส่วนประเด็นที่ทดสอบก็มีทั้งเวลาที่ทำงานสำเร็จ, เวลาที่ใช้ในการทำงานเบื้องหลัง, อัตราการใช้ซีพียู, การบริโภคทรัพยากรอื่นๆ ของระบบ และอัตราการใช้พลังงาน เป็นต้น

ด้านสภาพแวดล้อมในการทดสอบก็มีทั้งทดสอบกับวินโดวส์ที่ลงเสร็จใหม่ๆ และการติดตั้งซอฟต์แวร์ยอดนิยมอื่นๆ ควบคู่ไปด้วย เช่น ระบบ firewall, antivirus เพื่อให้ได้สถานการณ์ใกล้เคียงกับผู้ใช้จริงนั่นเอง

รายละเอียดยังมีอีกมาก ตามไปอ่านกันได้ที่ต้นฉบับนะครับ

ที่มา - Building Windows 8