DeepSeek ผู้พัฒนาปัญญาประดิษฐ์ LLM จากจีน ปล่อยโมเดล DeepSeek v3 โมเดล LLM ขนาดใหญ่มาก จำนวนพารามิเตอร์มากขึ้น 685B จากเดิมที่โมเดลเปิดใหญ่สุดคือ Llama 3.1 405B

ตอนนี้ยังไม่มีข้อมูลเกี่ยวกับโมเดลนี้นัก แต่ทาง Aider โครงการซอฟต์แวร์ช่วยเขียนโปรแกรมก็โชว์ผลทดสอบพบว่า DeepSeek v3 ทำคะแนนทดสอบได้ดีมาก แซงหน้า Claude 3.5 Sonnet อละ Gemini Exp 1206 ไปได้ เป็นรองเพียง OpenAI o1 เท่านั้น ตัวโมเดลใช้สถาปัตยกรรม Mixture-of-Experts แยก expert ออก 256 ชุด และเลือกใช้ 8 ชุดในแต่ละ token

Together.AI ผู้ให้บริการคลาวด์ปัญญาประดิษฐ์เปิดบริการปรับแต่งโมเดล (finetune) แบบ LoRA เต็มรูปแบบ โดยทั้งการฝึกโมเดลและการรันโมเดลที่ปรับแต่งมาแล้ว

บริการ Severless LoRA สามารถใช้ adapter ที่ปรับแต่งมาแล้วจากที่อื่นได้ โดยคิดค่ารันตามโทเค็นเท่ากับโมเดลหลักเท่านั้น และสามารถใช้งานได้กับทุกโมเดลที่ทาง Together.AI ให้บริการแบบ serverless อยู่ เช่น Llama และ Qwen

Sakana AI บริษัทวิจัยปัญญาประดิษฐ์จากญี่ปุ่นที่มีผลงานด้าน LLM ต่อเนื่อง นำเสนองานวิจัยใหม่ ที่ฝึกให้โมเดลปัญญาประดิษฐ์เลือกจำแต่ช่วงเวลาดีๆข้อความสำคัญที่เกี่ยวข้องกับการประมวลผล และลืมข้อความที่ทำร้ายจิตใจไม่เกี่ยวข้องกับงานออกไป ทำให้การประมวลผลเร็วขึ้น แม่นยำขึ้น

แนวทางของ Sakana เสนอสถาปัตยกรรม Neural Attention Memory Models (NAMMs) ที่จริงๆ ก็เป็นโมเดลปัญญาประดิษฐ์ที่มาเลือกข้อความส่วนที่ควรลืมและควรจำ ช่วยให้โมเดล LLM หลักประมวลผลเฉพาะข้อความที่สำคัญได้