NVIDIA เปิดตัว Dynamo ไลบรารีเร่งความเร็วในการรันปัญญาประดิษฐ์ (inference) ที่สามารถเร่งความเร็วการรันได้สูงสุด 30 เท่าด้วยการทำ KV cache

KV cache เป็นแนวทางสำคัญที่ผู้ให้บริการจำนวนมากใช้เร่งความเร็วในการให้บริการ ระบบรันจะเก็บสถานะการรันข้อความล่าสุดเอาไว้ และเมื่อผู้ใช้แชตต่อจากเดิมก็สามารถดึงสถานะกลับมาใช้งานได้ทันทีโดยไม่ต้องประมวลผลข้อความเดิมทั้งหมด

Dynamo มีความสามารถในการดึงสถานะการรันไว้ในหน่วยความจำหรือสตอเรจที่ราคาถูกกว่า เมื่อผู้ใช้กลับมาคุยต่อก็สามารถส่งคำขอกลับไปยังเครื่องเดิมที่เคยเก็บสถานะการแชตไว้ได้

Jensen Huang เปิดเผยข้อมูลชิปรุ่นต่อไป Vera Rubin ที่จะวางขายปลายปี 2026 โดย Vera เป็นชื่อซีพียูที่ต่อมาจากชิป Grace ในปัจจุบัน และ Rubin เป็นส่วนกราฟิกที่ต่อจาก Blackwell

ตอนนี้ยังไม่มีรายละเอียดมากนัก โดย Vera เป็นคอร์ Arm แบปรับแต่งพิเศษจำนวน 88 คอร์ 176 เธรด พร้อม NVLink เชื่อมส่วนกราฟิกขนาด 1.8TB/s และ Rubin จะมาพร้อมกับแรม 288GB HBM4 (ยังเท่ากับ Blackwell ตัวใหญ่สุดอยู่) แต่พลังประมวลผลสูงขึ้นกว่าสามเท่า เป็น 50 PetaFLOPS FP4 เทียบกับ Blackwell ที่อยู่ที่ 15 PetaFLOPS เท่านั้น รวมพลังประมวลผลของตัวชิปทั้งตู้รันได้ 3.6 ExaFLOPS FP4 เริ่มวงจำหน่ายจริงครึ่งหลังปี 2026

NVIDIA เปิดตัวชิปเน็ตเวิร์คสองรุ่น คือ NVIDIA Spectrum-X และ NVIDIA Quantum-X ที่มีความพิเศษคือตัวชิปสวิตช์เชื่อมต่อกับภายนอกด้วยแสงผ่านไฟเบอร์ตรงๆ ตัดตอนการใช้ transceiver ในสวิตช์เน็ตเวิร์คแบบเดิมๆ ที่ต้องแปลงสัญญาณแสงเป็นสัญญาณไฟฟ้า แล้วส่งข้อมูลเข้าชิปสวิตช์อีกที มาเป็นการรับแสงโดยตรงเข้าตัวชิปสวิตช์ (แม้ที่จริงจะอยู่คนละชิ้นกับวงจรสวิตช์ แต่รวมกันอยู่บนแผ่น interposer เดียวกัน)