กูเกิลเปิดตัว PaLM 2 ปัญญาประดิษฐ์ภาษาขนาดใหญ่รุ่นล่าสุดที่กูเกิลระบุว่าเป็นโมเดลที่ดีที่สุดในตอนนี้ โดยไม่ได้ระบุขนาดโมเดล แต่บอกว่าการศึกษาภายในพบว่าโมเดลที่ใหญ่ที่สุดไม่ได้ดีที่สุดเสมอไป และการที่ PaLM 2 ขนาดเล็กกว่าเป็นข้อดีเพราะรันได้เร็วกว่า และมีประสิทธิภาพสูงกว่า โดยฟีเจอร์สำคัญ 3 ด้านของ PaLM 2 ได้แก่

กูเกิลนำเสนอโมเดลปัญญาประดิษฐ์ PaLM โมเดลปัญญาประดิษฐ์ขนาด 540,000 ล้านพารามิเตอร์ โดยอาศัยสถาปัตยกรรม Pathway ที่ออกแบบมาให้ปัญญาประดิษฐ์ทำงานได้หลากหลายขึ้น

กูเกิลออกแบบ PaLM ไว้ 3 ขนาด ได้แก่ 8 พันล้านพารามิเตอร์, 64 พันล้านพารามิเตอร์, และ 540 พันล้านพารามิเตอร์ โดยพบว่าความสามารถของตัวปัญญาประดิษฐ์ขนาด 64 พันล้านพารามิเตอร์แซงหน้า GPT-3 ที่มีขนาด 175 พันล้านพารามิเตอร์ได้

ในงาน Google I/O ปีนี้ กูเกิลสาธิตปัญญาประดิษฐ์ LaMDA ที่ออกแบบมาเพื่อบทสนทนาโดยเข้าใจเรื่องราวที่กำลังคุยกันอยู่ แม้กูเกิลจะสร้าง LaMDA และรายงานผลการพัฒนามาตั้งแต่ต้นปี 2020 แต่กูเกิลก็พบว่าสามารถนำโมเดลปัญญาประดิษฐ์มาฝึกเรื่องราวเฉพาะทางได้

กูเกิลสาธิตการใช้งานด้วยการให้ LaMDA เป็นเครื่องบินกระดาษ ผู้ใช้สามารถสนทนากับเครื่องบินกระดาษได้เหมือนเป็นตัวละครสมมติ เช่น ผู้ใช้ถามว่า "คุณเป็นเครื่องบินกระดาษที่ดีไหม" ตัว LaMDA จะถามกลับได้ว่า "ขึ้นกับคำว่าดีแปลว่าอะไร บางคนอาจจะแปลว่าบินได้ไกล บางคนอาจจะแปลว่าบินได้ตรง"

กูเกิลประกาศเริ่มใช้งานโมเดลประมวลภาษาธรรมชาติ (natural language processing - NLP) แบบ deep learning ที่บริษัทโอเพนซอร์สออกมาเมื่อปีที่แล้วที่ชื่อว่า BERT ในการทำความเข้าใจคำค้นใน Google Search เพื่อให้เข้าใจความหมายของวลีที่ผู้ใช้กำลังค้นหาได้ดีขึ้น

ก่อนหน้านี้ผู้ใช้มักพยายามเพิ่มคำสำคัญที่ถูกต้อง เพราะเว็บค้นหามักใช้คำเหล่านี้ค้นฐานข้อมูล โดยไม่ได้ใช้คำขยายหรือคำบุพบทมาเป็นส่วนสำคัญ แต่การประมวลผลแบบ NLP ทำให้กูเกิลเข้าใจคำค้นได้ตรงความต้องการแม้จะค้นเหมือนพูดคุยกับคนอยู่ก็ตาม