on
เก็บตกฟีเจอร์ใหม่ของ Google Pixel 11 Series คือ sign-to-text หรือการแปลภาษามือ (sign language) ออกมาเป็นข้อความ
ฟีเจอร์นี้กูเกิลออกแบบร่วมกับกลุ่มผู้พิการทางการพูด โดยพัฒนาโมเดล sign language-to-text (SL2T) เปิดกล้องมือถือ ตรวจจับการเคลื่อนไหวของมือและใบหน้าผู้สื่อสาร แล้วแปลงเป็นข้อความภาษาอังกฤษขึ้นมาบนหน้าจอให้อ่านกัน
เบื้องหลังโมเดล SL2T เทรนข้อมูลภาษามือ 100,000 ชั่วโมง ครอบคลุมมากกว่า 50 ภาษามือในโลก โดยโมเดลจะมองหาแค่ตำแหน่งของจุดสำคัญๆ ในร่างกายว่าเคลื่อนไหวอย่างไร แทนการดูคลิปวิดีโอแบบเต็มๆ (เพื่อรักษาความเป็นส่วนตัวของผู้สื่อสาร) การประมวลผลตำแหน่งร่างกายของผู้สื่อสารทำแบบ on-device ด้วยโมเดลอีกตัวชื่อ MediaPipe Holistic แล้วส่งต่อให้โมเดล SL2T บนเซิร์ฟเวอร์แปลออกมาเป็นข้อความ
โมเดล SL2T โดดเด่นกว่าโมเดลแปลงภาษามือในอดีต รองรับการใช้ภาษามือทั้งแบบมือเดียว และสองมือ ปรับแต่งให้ทำงานกับการใช้มือซ้าย (คิดเป็น 10% ของผู้สื่อสารภาษามือ) และนำไปทดสอบกับชุมชนผู้ใช้ภาษามือหลายแห่ง
ตอนนี้ฟีเจอร์ sign-to-text ยังรองรับเฉพาะภาษามือแบบอเมริกัน American Sign Language (ASL) แปลงเป็นภาษาอังกฤษ แต่กูเกิลสัญญาว่าจะเพิ่มภาษา และเพิ่มอุปกรณ์ที่รองรับตามมาในอนาคต
