Groq สตาร์ตอัพผู้สร้างชิปเร่งการประมวลผล AI (คนละบริษัทกับ Grok ที่เป็นของ Twitter/X) สามารถรันโมเดล Llama 3 ตัวใหม่ล่าสุดของ Meta ด้วยความเร็วสูงถึง 800 token ต่อวินาที

ถ้าดูจากสถิติเดิมเมื่อเดือนกุมภาพันธ์ปีนี้ Groq สามารถรัน Llama 2 70B ด้วยความเร็ว 240 token ต่อวินาที ซึ่งถือว่าเร็วมากๆ แล้ว เมื่อเทียบกับตัวเลขของ GPT-4 หรือ Claude Opus ที่ทำได้ไม่ถึง 40 token ต่อวินาที

Groq บริษัทพัฒนาชิปสำหรับประมวลผลปัญญาประดิษฐ์แบบ LLM โดยเฉพาะ ประกาศเลิกขายชิปให้กับลูกค้าทั่วไปแล้ว หลังยอมรับว่าขายยากเพราะลูกค้าต้องลงทุนสูง และตอนนี้ก็มีลูกค้าบนบริการคลาวด์จำนวนมาก

หากลูกค้าของ Groq ต้องการชิปจำนวนมากหลังจากนี้จะเป็นการเซ็นสัญญาร่วมกับศูนย์ข้อมูลเพื่อเข้าไปติดตั้งเซิร์ฟเวอร์ให้ลูกค้าใช้งานโดยเฉพาะ ตอนนี้มีลูกค้าแบบนี้คือ Aramco บริษัทน้ำมันจากซาอุดิอาระเบีย แต่มีข้อยกเว้นอยู่บ้างคือโครงการภาครัฐที่ยังซื้อชิปตรงได้

Groq สตาร์ตอัพผู้พัฒนาชิป GroqChip 1 สำหรับการรันโมเดลปัญญาประดิษฐ์ LLM และผู้ให้บริการ LLM แบบคลาวด์ระบุถึงผลทดสอบของ ArtificialAnalysis.ai ที่แสดงให้เห็นว่า Groq เป็นผู้ให้บริการที่สามารถประมวลผล LLM ได้เร็วที่สุดในตลาด

โมเดลที่ใช้ทดสอบเป็นโมเดล Llama 2 70B ที่มีคลาวด์หลายเจ้าให้บริการกัน รวมถึงคลาวด์รายใหญ่อย่าง Amazon Bedrock และ Azure แต่จุดที่ Groq นำมาเน้นคือความเร็วในการตอบ ที่ระยะเวลาจนถึงการตอบ 100 token แรกนั้นกินเวลาเพียง 0.7 วินาที และอัตราการตอบรวมได้เร็วกว่า 240 token ต่อวินาที นับว่าเร็วกว่าคู่แข่งอันดับสองแบบห่างไกล (Lepton รันได้สูงกว่า 120 token ต่อวินาทีไปเล็กน้อย)