AMD จับมือกับ Stability AI บริษัทเจ้าของโมเดลสร้างภาพ Stable Diffusion ออกโมเดล Stable Diffusion 3 Medium เวอร์ชันปรับแต่งให้รันบน XDNA 2 NPU ของชิป Ryzen ได้จบในตัว ไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอกเลย

โมเดล Stable Diffusion 3 Medium เวอร์ชันนี้ถูกปรับแต่งให้ลดหน่วยความจำลง (ตัวโมเดลใช้แรม 9GB) โดยยังรักษาความแม่นยำของทศนิยมแบบ FP16 (เป็น block FP16 หรือ BF16) ทำให้คุณภาพของภาพที่สร้างยังสูงอยู่ ภาพที่ได้เป็นภาพความละเอียดสูง 4MP (2048x2048)

AMD เปิดตัวโครงการโอเพนซอร์สชื่อ GAIA เป็นแอพพลิเคชันบนพีซี ที่ช่วยนำโมเดล LLM มารันบนพีซี และสามารถเร่งความเร็วหากเป็นเครื่องที่มี NPU ของชิป Ryzen AI ด้วย

GAIA คงไม่ต่างอะไรมากกับชุดซอฟต์แวร์แบบเดียวกันที่มีอยู่แล้ว (เช่น ไมโครซอฟท์เองมี Windows Copilot Runtime) มีฟีเจอร์ Retrieval-Augmented Generation (RAG) ช่วยเสริมความรู้เฉพาะทางให้ AI (เช่น คลังเอกสารขององค์กร) เพื่อนำมาสร้างเป็น agent ที่เชี่ยวชาญงานเฉพาะด้าน ตัวอย่างที่ AMD ให้มาคือ agent ที่ช่วยค้นหาข้อมูลจากคลิปใน YouTube, agent เล่นมุขตลก เป็นต้น

AMD ออกเบนช์มาร์คเปรียบเทียบสมรรถนะของชิป NPU ใน Ryzen Mobile 7040/8040 เทียบกับคู่แข่ง Intel Core Ultra

AMD NPU มีสมรรถนะตามสเปกที่ 16 TOPS ในขณะที่ NPU ของอินเทลทำได้ 10 TOPS แต่รอบนี้ AMD ลองนำมารันโมเดล LLM ยอดนิยมในตลาดอย่าง Llama 2 และ Mistral เปรียบเทียบให้ดูว่าได้ผลเป็นอย่างไร

คะแนนเบนช์มาร์คแยกเป็น จำนวน token ต่อวินาที ที่ชิปของ AMD เหนือกว่าราว 14-17% แต่ถ้าวัดเป็นระยะเวลารอคอยคำตอบ token แรก ในเคสของ Llama 2 ทำเวลาได้เร็วกว่า 71% และเคสของ Mistral ทำได้เร็วกว่า 41%