Google Cloud ในฐานะผู้ให้บริการคลาวด์รายใหญ่ มีศูนย์ข้อมูลของตัวเอง และต้องใช้งานฮาร์ดดิสก์เป็นจำนวนมาก จับมือกับ Seagate พัฒนาเทคนิค machine learning เพื่อใช้พยากรณ์ว่าฮาร์ดดิสก์จะเสียหรือไม่

กูเกิลบอกว่ามีฮาร์ดดิสก์เป็นล้านๆ ตัว และมีข้อมูล metadata จำนวนมหาศาล เช่น SMART(Self-Monitoring, Analysis and Reporting Technology), Online Vendor Diagnostics (OVD), Field Accessible Reliability Metrics (FARM) ซึ่งไม่สามารถใช้มนุษย์อ่านได้อีกแล้ว จึงต้องใช้ machine learning มาช่วยอ่านข้อมูลแทน

โซลูชันของกูเกิลคือนำข้อมูล metadata เหล่านี้เก็บลงในบริการ BigQuery และ Cloud Dataflow ของตัวเอง ใช้ AutoML พัฒนาโมเดล เรียนรู้ด้วย TensorFlow แล้วพัฒนาระบบมอนิเตอร์ด้วย Cloud Functions กับ Cloud Composer

กูเกิลเล่าว่าระบบมอนิเตอร์เดิมจะแจ้งเมื่อพบดิสก์ที่มีปัญหา แล้วซ่อมดิสก์ลูกนั้นแบบ on-site ด้วยซอฟต์แวร์ แต่พบปัญหาว่ายุ่งยาก เพราะต้องเอาข้อมูลออกจากดิสก์ก่อน แยกดิสก์ออกมา รันซอฟต์แวร์วิเคราะห์อาการ ซ่อมเสร็จแล้วค่อยใส่ดิสก์กลับเข้าในระบบ

หลังจากมีระบบใหม่ที่ใช้ machine learning สามารถบอกได้ล่วงหน้าว่าดิสก์ลูกไหนจะมีปัญหา ทำให้ลดงานของทีมซ่อมลง กูเกิลยังได้พัฒนาระบบมอนิเตอร์ให้เชื่อมต่อกับระบบจัดการคอนฟิกระบบ (ใช้ Terraform และ GitLab) ให้เปิด-ปิดการทำงานของฮาร์ดดิสก์อัตโนมัติ

กูเกิลยังลองพัฒนาโมเดล ML สองแบบมาเปรียบเทียบกัน โดยใช้ AutoML แบบอัตโนมัติ และโมเดลคัสตอมแบบ Transformer-based ผลลัพธ์คือ AutoML ให้ประสิทธิภาพดีกว่า มีอัตราความแม่นยำ 98% เมื่อเทียบกับ 70-80% ของโมเดลแบบคัสตอม

ที่มา - Google, ภาพจาก Seagate