Technology Innovation Institute (TII) หน่วยงานวิจัยภายใต้รัฐบาลสหรัฐอาหรับเอมิเรตส์ปล่อยโมเดล Falcon 40B ที่เป็นโมเดลภาษาขนาดใหญ่ โดยทางสถาบันตัดสินใจยกเว้นการเก็บค่าใช้งานทั้งหมดแล้วปล่อยโมเดลเป็นสัญญาอนุญาตแบบ Apache 2.0 ซึ่งทำให้ผู้สนใจสามารถนำไปใช้งานได้อิสระ
ตัวโมเดล Falcon 40B ฝึกด้วยชุดข้อมูลขนาด 1 ล้านล้านโทเค็น ใช้ชิปกราฟิก 384 ชุดเป็นระยะเวลาสองเดือน โดยใช้ชุดข้อมูลจาก CommonCrawl แล้วลบข้อมูลซ้ำ, ข้อมูลที่สร้างโดยคอมพิวเตอร์, รวมถึงเนื้อหาสำหรับผู้ใหญ่ ออก คะแนนทดสอบตอนนี้ Falcon 40B นำ LLaMA 65B ที่มีขนาดใหญ่กว่าไปเสียอีก
Falcon 40B เป็นโมเดลแบบ LLM ที่ได้คะแนนสูงสุดในการจัดอันดับโมเดลแบบเดียวกันโดย Hugging Face ที่ใช้ชุดทดสอบ 4 ชุด ได้แก่
โมเดลทั้งหมดเปิดให้ดาวน์โหลดบน Hugging Face โดยสามารถใช้งานได้ทั้ง Falcon 40B และ 7B
ที่มา - Technology Innovation Institute