AMD
AMD โอเพนซอร์สไลบรารี AI Tensor Engine for ROCm (AITER) ที่รวมเอาฟังก์ชั่นที่ปัญญาประดิษฐ์ต่างๆ ใช้งานบ่อย ให้ออปติไมซ์บน ROCm โดยเฉพาะ PyTorch ที่นิยมใช้งานกับปัญญาประดิษฐ์กลุ่ม LLM
กลุ่ม operator ที่ LLM ใช้งานสามารถรันได้เร็วขึ้นหลายเท่าตัว เช่น Mixture of Experts (MoE), การคูณแมตทริกซ์, Multi-Head Attention (MHA) ผลการทดสอบ DeepSeek-V3/R1 บนชิป MI300X สามารถรันเร็วขึ้นเทียบกับก่อนใช้ AITER ถึงเท่าตัว
ตอนนี้ซอฟต์แวร์รัน LLM เช่น vLLM และ SGLang รองรับ AITER แล้ว และทาง AMD ยืนยันว่าจะลงทุนพัฒนาเร่งความเร็วโหลดงาน AI บนชิป AMD เพิ่มเติมต่อไป
on
on