Semiconductor
TAALAS บริษัทออกแบบชิปจากแคนาดา สาธิตชิป Taalas HC1 ที่ฝังโมเดลปัญญาประดิษฐ์ Llama 3.1 8B ลงไปในชิปตรงๆ ไม่สามารถแก้ไขได้อีก แต่ให้ความเร็วในการรันสูงถึง 16,960 token/s อยู่ในระดับที่เห็นผลลัพธ์ทันที
โมเดลที่รันไม่ใช่โมเดลเต็ม แต่เป็นรุ่นย่อ 3-bit ทำให้คุณภาพไม่เท่ากับ Llama 3.1 8B ที่ใช้งานกัน แต่ตัวชิปรองรับการรัน LoRA adapter ด้วย ทำให้สามารถปรับแต่งงานเฉพาะทางได้บางส่วนในอนาคต แม้จะแก้ไขโมเดลหลักไม่ได้ก็ตามที โดยรวมชิปมีทรานซิสเตอร์ทั้งหมด 53,000 ล้านตัว กินไฟ 2.5kW
on
on
