AMD โอเพนซอร์สไลบรารี AI Tensor Engine for ROCm (AITER) ที่รวมเอาฟังก์ชั่นที่ปัญญาประดิษฐ์ต่างๆ ใช้งานบ่อย ให้ออปติไมซ์บน ROCm โดยเฉพาะ PyTorch ที่นิยมใช้งานกับปัญญาประดิษฐ์กลุ่ม LLM

กลุ่ม operator ที่ LLM ใช้งานสามารถรันได้เร็วขึ้นหลายเท่าตัว เช่น Mixture of Experts (MoE), การคูณแมตทริกซ์, Multi-Head Attention (MHA) ผลการทดสอบ DeepSeek-V3/R1 บนชิป MI300X สามารถรันเร็วขึ้นเทียบกับก่อนใช้ AITER ถึงเท่าตัว

ตอนนี้ซอฟต์แวร์รัน LLM เช่น vLLM และ SGLang รองรับ AITER แล้ว และทาง AMD ยืนยันว่าจะลงทุนพัฒนาเร่งความเร็วโหลดงาน AI บนชิป AMD เพิ่มเติมต่อไป

ZLUDA โครงการโอเพนซอร์สที่พยายามอิมพลีเมนต์ไลบรารี CUDA ของ NVIDIA ปล่อยเวอร์ชั่นทดสอบที่อาศัยไลบรารี HIP/ROCm ของ AMD เป็นคัวเอนจินเบื้องหลังทำให้สามารถใช้ชิปกราฟิกของ AMD มารันโปรแกรมที่คอมไพล์สำหรับ CUDA ได้

Andrzej Janik ผู้พัฒนา ZLUDA พัฒนาไลบรารีนี้มาแล้วหลายปี แต่ช่วงแรกนั้นทำมาเพื่อซีพียูอินเทล ต่อมาในปี 2022 AMD ติดต่อเขาให้พัฒนาไลบรารีให้รองรับชิปกราฟิกของ AMD หลังจากพัฒนามาเกือนสองปี ทาง AMD ตัดสินในยุติโครงการนี้ ทำให้ Janik ตัดสินใจปล่อยโครงการออกมาเป็นโอเพนซอร์ส