NVIDIA เปิดตัว Dynamo ไลบรารีเร่งความเร็วในการรันปัญญาประดิษฐ์ (inference) ที่สามารถเร่งความเร็วการรันได้สูงสุด 30 เท่าด้วยการทำ KV cache

KV cache เป็นแนวทางสำคัญที่ผู้ให้บริการจำนวนมากใช้เร่งความเร็วในการให้บริการ ระบบรันจะเก็บสถานะการรันข้อความล่าสุดเอาไว้ และเมื่อผู้ใช้แชตต่อจากเดิมก็สามารถดึงสถานะกลับมาใช้งานได้ทันทีโดยไม่ต้องประมวลผลข้อความเดิมทั้งหมด

Dynamo มีความสามารถในการดึงสถานะการรันไว้ในหน่วยความจำหรือสตอเรจที่ราคาถูกกว่า เมื่อผู้ใช้กลับมาคุยต่อก็สามารถส่งคำขอกลับไปยังเครื่องเดิมที่เคยเก็บสถานะการแชตไว้ได้

Jensen Huang เปิดเผยข้อมูลชิปรุ่นต่อไป Vera Rubin ที่จะวางขายปลายปี 2026 โดย Vera เป็นชื่อซีพียูที่ต่อมาจากชิป Grace ในปัจจุบัน และ Rubin เป็นส่วนกราฟิกที่ต่อจาก Blackwell

ตอนนี้ยังไม่มีรายละเอียดมากนัก โดย Vera เป็นคอร์ Arm แบปรับแต่งพิเศษจำนวน 88 คอร์ 176 เธรด พร้อม NVLink เชื่อมส่วนกราฟิกขนาด 1.8TB/s และ Rubin จะมาพร้อมกับแรม 288GB HBM4 (ยังเท่ากับ Blackwell ตัวใหญ่สุดอยู่) แต่พลังประมวลผลสูงขึ้นกว่าสามเท่า เป็น 50 PetaFLOPS FP4 เทียบกับ Blackwell ที่อยู่ที่ 15 PetaFLOPS เท่านั้น รวมพลังประมวลผลของตัวชิปทั้งตู้รันได้ 3.6 ExaFLOPS FP4 เริ่มวงจำหน่ายจริงครึ่งหลังปี 2026

NVIDIA เปิดตัวชิปเน็ตเวิร์คสองรุ่น คือ NVIDIA Spectrum-X และ NVIDIA Quantum-X ที่มีความพิเศษคือตัวชิปสวิตช์เชื่อมต่อกับภายนอกด้วยแสงผ่านไฟเบอร์ตรงๆ ตัดตอนการใช้ transceiver ในสวิตช์เน็ตเวิร์คแบบเดิมๆ ที่ต้องแปลงสัญญาณแสงเป็นสัญญาณไฟฟ้า แล้วส่งข้อมูลเข้าชิปสวิตช์อีกที มาเป็นการรับแสงโดยตรงเข้าตัวชิปสวิตช์ (แม้ที่จริงจะอยู่คนละชิ้นกับวงจรสวิตช์ แต่รวมกันอยู่บนแผ่น interposer เดียวกัน)

NVIDIA เปิดตัวชิป NVIDIA GB300 หรือ NVIDIA Blackwell Ultra ชูความเร็วในการรัน LLM เร็วขึ้น 11 เท่าเทียบกับชิป Hopper ขณะที่พลังประมวลผล FP4 เทียบกับ GB200 Blackwell ตัวเดิมดีขึ้น 1.5 เท่าตัว

พลังประมวลผลรวมของ NVIDIA GB300 ในตู้ NVIDIA GB300 NVL72 สามารถรัน DeepSeek-R1 ได้ระดับพันโทเค็นต่อวินาที Jensen Huang ซีอีโอ NVIDIA ระบุในงาน GTC ว่าสถาปัตยกรรม Blackwell นั้นประสิทธิภาพดีกว่ามาก จนเหลือกรณีที่ชิป Hopper (ที่ NVIDIA ยังขายอยู่) ไม่มากแล้ว

ชิปตัวนี้จะเปิดให้ใช้งานในคลาวด์รายใหญ่ก่อน จะคาดว่าจะเริ่มส่งมอบเซิร์ฟเวอร์ได้ภายในครึ่งหลังของปีนี้

NVIDIA เปิดตัวโมเดล Llama Nemotron Reasoning ชุดโมเดล LLM แบบคิดก่อนตอบที่ช่วยเพิ่มความแม่นยำของคำตอบขึ้น 20% โดยฝึกต่อจาก Llama ด้วยชุดข้อมูลแสดงวิธีคิด

ทาง NVIDIA สร้างชุดข้อมูลคิดก่อนตอบขนาด 60,000 ล้านโทเค็น โดยใช้คนมาช่วยดูข้อมูลอีกครั้ง รวมใช้เวลาตรวจข้อมูล 45,000 ชั่วโมง ใช้เวลารันโมเดลด้วย H100 รวม 360,000 ชั่วโมง

ที่งาน NVIDIA GTC 2025 ตอนนี้ทาง NVIDIA เปิดตัวเครื่องเดสก์ทอปสองรุ่นที่ใช้ชิป Grace CPU Supership ออกมาสองรุ่น ได้แก่