Tags:
Node Thumbnail

Technology Innovation Institute (TII) หน่วยงานวิจัยภายใต้รัฐบาลสหรัฐอาหรับเอมิเรตส์ปล่อยโมเดล Falcon 40B ที่เป็นโมเดลภาษาขนาดใหญ่ โดยทางสถาบันตัดสินใจยกเว้นการเก็บค่าใช้งานทั้งหมดแล้วปล่อยโมเดลเป็นสัญญาอนุญาตแบบ Apache 2.0 ซึ่งทำให้ผู้สนใจสามารถนำไปใช้งานได้อิสระ

ตัวโมเดล Falcon 40B ฝึกด้วยชุดข้อมูลขนาด 1 ล้านล้านโทเค็น ใช้ชิปกราฟิก 384 ชุดเป็นระยะเวลาสองเดือน โดยใช้ชุดข้อมูลจาก CommonCrawl แล้วลบข้อมูลซ้ำ, ข้อมูลที่สร้างโดยคอมพิวเตอร์, รวมถึงเนื้อหาสำหรับผู้ใหญ่ ออก คะแนนทดสอบตอนนี้ Falcon 40B นำ LLaMA 65B ที่มีขนาดใหญ่กว่าไปเสียอีก

Falcon 40B เป็นโมเดลแบบ LLM ที่ได้คะแนนสูงสุดในการจัดอันดับโมเดลแบบเดียวกันโดย Hugging Face ที่ใช้ชุดทดสอบ 4 ชุด ได้แก่

  • AI2 Reason ถามปัญหาวิทยาศาสตร์,
  • HellaSwag ถามการให้เหตุผลอย่างง่าย
  • MMLU ทดสอบถามตอบทั่วไป เช่น ประวัติศาสตร์, วิทยาศาสตร์, กฎหมาย
  • TruthfulQA ทดสอบการสร้างคำตอบว่าตรงความจริง

โมเดลทั้งหมดเปิดให้ดาวน์โหลดบน Hugging Face โดยสามารถใช้งานได้ทั้ง Falcon 40B และ 7B

ที่มา - Technology Innovation Institute

No Description

Get latest news from Blognone