TAALAS บริษัทออกแบบชิปจากแคนาดา สาธิตชิป Taalas HC1 ที่ฝังโมเดลปัญญาประดิษฐ์ Llama 3.1 8B ลงไปในชิปตรงๆ ไม่สามารถแก้ไขได้อีก แต่ให้ความเร็วในการรันสูงถึง 16,960 token/s อยู่ในระดับที่เห็นผลลัพธ์ทันที

โมเดลที่รันไม่ใช่โมเดลเต็ม แต่เป็นรุ่นย่อ 3-bit ทำให้คุณภาพไม่เท่ากับ Llama 3.1 8B ที่ใช้งานกัน แต่ตัวชิปรองรับการรัน LoRA adapter ด้วย ทำให้สามารถปรับแต่งงานเฉพาะทางได้บางส่วนในอนาคต แม้จะแก้ไขโมเดลหลักไม่ได้ก็ตามที โดยรวมชิปมีทรานซิสเตอร์ทั้งหมด 53,000 ล้านตัว กินไฟ 2.5kW

ตัวบริษัท TAALAS เป็นสตาร์ตอัพอายุเพียง 2.5 ปี แต่ได้รับเงินทุนมาแล้วกว่า 200 ล้านดอลลาร์ ทาง TAALAS คาดว่าจะอัพเดต HC1 ให้รันโมเดลขนาดใหญ่ขึ้นและเป็นโมเดลคิดก่อนตอบเพื่อนำมาให้บริการต่อไป และมีแผนจะเปิดตัว HC2 ภายในปีนี้

ที่มา - TAALAS