งาน NVIDIA GTC ปีนี้นอกจากการแถลงข่าวของ NVIDIA เองแล้วยังมีนักวิจัยชั้นนำขึ้นเวทีย่อยๆ ในงานจำนวนมาก คนหนึ่งที่มาขึ้นเวทีครั้งนี้คือ Yann LeCun Chief AI Scientist at Meta หนึ่งในผู้บุกเบิก convolutional neural networks (CNN) บรรยายถึงโลกอนาคตของปัญญาประดิษฐ์

NVIDIA เปิดตัว Dynamo ไลบรารีเร่งความเร็วในการรันปัญญาประดิษฐ์ (inference) ที่สามารถเร่งความเร็วการรันได้สูงสุด 30 เท่าด้วยการทำ KV cache

KV cache เป็นแนวทางสำคัญที่ผู้ให้บริการจำนวนมากใช้เร่งความเร็วในการให้บริการ ระบบรันจะเก็บสถานะการรันข้อความล่าสุดเอาไว้ และเมื่อผู้ใช้แชตต่อจากเดิมก็สามารถดึงสถานะกลับมาใช้งานได้ทันทีโดยไม่ต้องประมวลผลข้อความเดิมทั้งหมด

Dynamo มีความสามารถในการดึงสถานะการรันไว้ในหน่วยความจำหรือสตอเรจที่ราคาถูกกว่า เมื่อผู้ใช้กลับมาคุยต่อก็สามารถส่งคำขอกลับไปยังเครื่องเดิมที่เคยเก็บสถานะการแชตไว้ได้

NVIDIA เปิดตัวโมเดล Llama Nemotron Reasoning ชุดโมเดล LLM แบบคิดก่อนตอบที่ช่วยเพิ่มความแม่นยำของคำตอบขึ้น 20% โดยฝึกต่อจาก Llama ด้วยชุดข้อมูลแสดงวิธีคิด

ทาง NVIDIA สร้างชุดข้อมูลคิดก่อนตอบขนาด 60,000 ล้านโทเค็น โดยใช้คนมาช่วยดูข้อมูลอีกครั้ง รวมใช้เวลาตรวจข้อมูล 45,000 ชั่วโมง ใช้เวลารันโมเดลด้วย H100 รวม 360,000 ชั่วโมง