Alibaba เปิดโมเดล Qwen2.5-Turbo โมเดลปัญญาประดิษฐ์ที่ปรับปรุงขึ้นจากรุ่นโอเพนซอร์ส เน้นขนาดข้อมูลที่รองรับได้ จากเดิม 128,000 โทเค็นเป็น 1 ล้านโทเค็น ทำให้รองรับข้อมูลระดับหนังสือทั้งเล่มได้ คิดเป็นขนาดข้อมูลประมาณ 1 ล้านคำหรืออักษรจีน 1.5 ล้านตัวอักษร

ผลทดสอบของ Qwen2.5-Turbo ค่อนข้างดีมากการถามตอบจากข้อมูลขนาดใหญ่ Passkey Retrieval ได้เต็ม 100 คะแนน ขณะที่ชุดทดสอบ RULER ก็ได้คะแนนสูงกว่า GPT-4 เมื่อใส่ข้อมูลเต็ม 1 ล้านโทเค็นจะเริ่มตอบใน 68 วินาที ราคาต่อ 1 ล้านโทเค็นอยู่ที่ 0.3 หยวน ถูกกว่า GPT-4o-mini อยู่ 4.6 เท่าตัว

ทีมวิจัย Qwen ของ Aliababa เปิดตัวโมเดล Qwen2.5-Coder โมเดล LLM ช่วยเขียนโค้ดที่ปรับปรุงกระบวนการฝึกจนได้ประสิทธิภาพสูงสุดในหมู่โมเดลโอเพนซอร์ส คะแนนทดสอบรวมพอๆ กับ GPT-4o ในการทดสอบหลายตัว

กระบวนการฝึก Qwen2.5-Coder นั้นอาศัยการฝึกเป็นขั้น เริ่มตั้งแต่การฝึกโค้ดแบบไฟล์เดี่ยว (file-level pretrain) แล้วขยับมาเป็นการฝึกแบบหลายไฟล์ (repo-level pretrain) สุดท้ายจึงฝึกการเขียนโค้ดตามคำสั่ง โดยอาศัยชุดข้อมูลโค้ดที่พบในอินเทอร์เน็ต นำมาสร้างคำสั่งเพื่อให้ได้โค้ดนั้น แล้วจึงนำชุดข้อมูลไปฝึก