NVIDIA เปิดตัว Dynamo ไลบรารีเร่งความเร็วในการรันปัญญาประดิษฐ์ (inference) ที่สามารถเร่งความเร็วการรันได้สูงสุด 30 เท่าด้วยการทำ KV cache

KV cache เป็นแนวทางสำคัญที่ผู้ให้บริการจำนวนมากใช้เร่งความเร็วในการให้บริการ ระบบรันจะเก็บสถานะการรันข้อความล่าสุดเอาไว้ และเมื่อผู้ใช้แชตต่อจากเดิมก็สามารถดึงสถานะกลับมาใช้งานได้ทันทีโดยไม่ต้องประมวลผลข้อความเดิมทั้งหมด

Dynamo มีความสามารถในการดึงสถานะการรันไว้ในหน่วยความจำหรือสตอเรจที่ราคาถูกกว่า เมื่อผู้ใช้กลับมาคุยต่อก็สามารถส่งคำขอกลับไปยังเครื่องเดิมที่เคยเก็บสถานะการแชตไว้ได้

NVIDIA เปิดตัวโมเดล Llama Nemotron Reasoning ชุดโมเดล LLM แบบคิดก่อนตอบที่ช่วยเพิ่มความแม่นยำของคำตอบขึ้น 20% โดยฝึกต่อจาก Llama ด้วยชุดข้อมูลแสดงวิธีคิด

ทาง NVIDIA สร้างชุดข้อมูลคิดก่อนตอบขนาด 60,000 ล้านโทเค็น โดยใช้คนมาช่วยดูข้อมูลอีกครั้ง รวมใช้เวลาตรวจข้อมูล 45,000 ชั่วโมง ใช้เวลารันโมเดลด้วย H100 รวม 360,000 ชั่วโมง