กูเกิลนำเสนอโมเดลปัญญาประดิษฐ์ PaLM โมเดลปัญญาประดิษฐ์ขนาด 540,000 ล้านพารามิเตอร์ โดยอาศัยสถาปัตยกรรม Pathway ที่ออกแบบมาให้ปัญญาประดิษฐ์ทำงานได้หลากหลายขึ้น

กูเกิลออกแบบ PaLM ไว้ 3 ขนาด ได้แก่ 8 พันล้านพารามิเตอร์, 64 พันล้านพารามิเตอร์, และ 540 พันล้านพารามิเตอร์ โดยพบว่าความสามารถของตัวปัญญาประดิษฐ์ขนาด 64 พันล้านพารามิเตอร์แซงหน้า GPT-3 ที่มีขนาด 175 พันล้านพารามิเตอร์ได้

การทดสอบแสดงให้เห็นว่า PaLM มีความสามารถด้านใหม่ๆ ขึ้น เช่น การอธิบายเหตุผล, ทำความเข้าใจคอนเซ็ปต์, หรือแม้แต่เดาชื่อภาพยนต์จากอีโมจิ การทดสอบปัญหาคณิตศาสตร์ในชุดทดสอบ GSM8K ก็ได้คะแนนที่ระดับ 58% เทียบกับเด็กอายุ 9-12 ปีที่ได้คะแนนประมาณ 60% ตัวอย่างที่แสดงว่า PaLM แสดงความเป็นเหตุเป็นผลคือการอธิบายมุกตลกอย่างเป็นระบบได้ แม้จะเป็นมุกใหม่ที่ไม่มีในอินเทอร์เน็ต

กูเกิลฝึก PaLM โดยอาศัย TPU v4 จำนวนถึง 6,144 ชุด แยกออกเป็น 2 pod ฝึกด้วยข้อความจากเว็บ, หนังสือ, Wikipedia, โค้ดบน GitHub

ที่มา - Google