Google เผยข้อมูลเกี่ยวกับเทคโนโลยีเพิ่มคุณภาพเสียงสำหรับการสนทนาในบริการวิดีโอคอล Duo ในชื่อว่า WaveNetEQ โดยเบื้องหลังใช้เทคโนโลยี DeepMind ที่ช่วยให้ระบบจัดการกับเสียงขาด ๆ หาย ๆ ได้โดยที่ทำให้เสียงสนทนายังดูเป็นธรรมชาติ

สำหรับวิธีเพิ่มคุณภาพเสียงของ Duo คือระบบจะตรวจสอบว่าเสียงตรงไหนขาด ๆ หาย ๆ และจะแทนที่ส่วนนั้นด้วยเสียงสังเคราะห์ที่คล้ายกับคำพูดของคนที่สร้างจาก machine learning เพื่อทำให้ดูเหมือนจริง

Google ระบุว่า ปัจจุบันการโทรผ่าน Duo จะมี packet loss ถึง 99% โดย 20% ของทั้งหมดนี้จะมี packet loss มากกว่า 3% และ 10% ของทั้งหมดจะมี packet loss มากกว่า 8%

การส่ง packet ไปไม่ถึงปลายทางเป็นเรื่องปกติของการโทรผ่านอินเทอร์เน็ตเพราะ packet ที่ส่งไปอาจจะไปช้าหรือส่งไปผิดลำดับ ดังนั้นผู้ให้บริการโทรผ่านอินเทอร์เน็ตจึงมีวิธีแก้ไข packet loss ที่แตกต่างกัน โดย Google ระบุว่าวิธี packet loss concealment หรือ PLC ทั่ว ๆ ไปจะทดแทนเสียงส่วนที่ขาดหายไปได้ไม่มาก ถ้าถึง 60 มิลลิวินาทีหรือมากกว่านั้นจะเริ่มสังเกตได้ว่าเสียงจะไม่เป็นธรรมชาติ ในขณะที่ WaveNetEQ ที่ใช้ DeepMind และผ่านการเทรนกับผู้พูดกว่า 100 คนใน 48 ภาษาจะแทนที่เสียงขาด ๆ หาย ๆ ได้อย่างเป็นธรรมชาติมากกว่า

อย่างไรก็ดี WaveNetEQ ก็ยังมีข้อจำกัดในการแทนเสียงอยู่บ้าง เพราะเทคนิคนี้ถูกออกแบบมาให้ทดแทนเสียงสั้น ๆ เท่านั้น ไม่สามารถทดแทนคำได้ทั้งคำ ดังนั้นหากเสียงที่หายไปยาวกว่า 120 มิลลิวินาทีจะเริ่มเกิดอาการเสียงเงียบขึ้น และ Google ระบุว่าเหตุผลที่ใช้ WaveNetEQ เนื่องจากไม่ต้องการสร้างเสียงใหม่ที่มีนัยสำคัญต่อการสนทนา รวมถึงการประมวลผลทั้งหมดจะต้องเกิดขึ้นบนเครื่องที่สนทนาเท่านั้น เนื่องจาก Duo เป็นระบบการสนทนาแบบ end-to-end

ทดลองฟังเสียงตัวอย่างหรืออ่านรายละเอียดฉบับเต็มได้ผ่าน Google AI Blog

ที่มา - The Verge, Google AI Blog

ภาพจาก Google Duo