MLCommons หน่วยงานกลางสำหรับการจัดอันดับประสิทธิภาพคอมพิวเตอร์ในงานด้าน machine learning ประกาศผล MLPerf Training 3.0 แสดงประสิทธิภาพของการฝึกโมเดลปัญญาประดิษฐ์รูปแบบต่างๆ มีผู้ส่งระบบเข้าร่วม 250 ระบบ จากผู้ผลิตหรือคลาวด์รวม 16 ราย ภาพรวมแล้วระบบต่างๆ เร็วขึ้นกว่าการทดสอบรอบก่อนหน้านี้ 1.54 เท่าตัว ความพิเศษของรอบนี้คือมีการทดสอบฝึก GPT-3 เข้ามาด้วย เพื่อดูประสิทธิภาพของการฝึก LLM และรอบนี้มีเฉพาะ NVIDIA และ Intel เท่านั้นที่ส่งผลเข้ามา

Together บริษัทปัญญาประดิษฐ์ เปิดตัวโมเดลปัญญาประดิษฐ์ RedPajama 7B โมเดล LLM ขนาดเล็กที่มีคะแนนทดสอบชุดทดสอบ HELM เฉลี่ยสูงกว่า LLaMA ของ Meta และยังเปิดไลเซนส์ให้ใช้งานแบบ Apache 2.0 ที่ใช้งานได้ค่อนข้างอิสระ

ก่อนหน้านี้โมเดลปัญญาประดิษฐ์ขนาดใกล้เคียงกันที่เปิดให้ใช้งานได้อิสระมีมาแล้วหลายตัว เช่น MPT-7B หรือ Falcon 7B แต่โมเดลเหล่านี้ก็ยังทำคะแนนทดสอบสู้ LLaMA ของ Meta ที่ปล่อยออกมาให้ใช้สำหรับงานวิจัยเท่านั้นไม่ได้

Technology Innovation Institute (TII) หน่วยงานวิจัยภายใต้รัฐบาลสหรัฐอาหรับเอมิเรตส์ปล่อยโมเดล Falcon 40B ที่เป็นโมเดลภาษาขนาดใหญ่ โดยทางสถาบันตัดสินใจยกเว้นการเก็บค่าใช้งานทั้งหมดแล้วปล่อยโมเดลเป็นสัญญาอนุญาตแบบ Apache 2.0 ซึ่งทำให้ผู้สนใจสามารถนำไปใช้งานได้อิสระ

ตัวโมเดล Falcon 40B ฝึกด้วยชุดข้อมูลขนาด 1 ล้านล้านโทเค็น ใช้ชิปกราฟิก 384 ชุดเป็นระยะเวลาสองเดือน โดยใช้ชุดข้อมูลจาก CommonCrawl แล้วลบข้อมูลซ้ำ, ข้อมูลที่สร้างโดยคอมพิวเตอร์, รวมถึงเนื้อหาสำหรับผู้ใหญ่ ออก คะแนนทดสอบตอนนี้ Falcon 40B นำ LLaMA 65B ที่มีขนาดใหญ่กว่าไปเสียอีก