on
DAMO Academy สถาบันวิจัยของ Alibaba เปิดตัว SeaLLM เวอร์ชั่นที่ 3 เป็นโมเดล LLM เน้นความสามารถในภาษาแถบอาเซียนสูงกว่าโมเดลในขนาดใกล้เคียงกันตัวอื่นๆ แถมยังเอาชนะ Qwen2 ของ Alibaba Cloud ไปได้
กระบวนการทดสอบ SeaLLM3 อาศัยชุดทดสอบ M3Exam ที่เป็นข้อสอบหลายภาษา และ SeaBench สำหรับการทดสอบการทำตามคำสั่งของ DAMO เอง เมื่อดูผลแยกรายภาษาพบว่าในภาษาไทย SeaLLM3 ได้คะแนน M3Exam สูงกว่า Qwen2-7B-Instruct เล็กน้อย และคะแนน SeaBench ในภาษาไทยสูงกว่า Qwen2 ชัดเจน นอกจากนี้เมื่อทดสอบความสามารถในการแปลภาษาด้วยชุดข้อมูล Flores-200 ก็พบว่า SeaLLM3 แปลภาษาไทยได้ดีกว่าโมเดลเดิมๆ อย่าง Llama 3 และ Qwen2 ชัดเจน
SeaLLM เปิดให้ใช้งานได้ฟรีภายใต้ข้อตกลง SeaLLM License ที่จำกัดว่าต้องขออนุญาตหากบริการมีผู้ใช้งานเกิน 100 ล้านคนต่อเดือน
ที่มา - SeaLLM
ขนาดว่า qwen2
Fzo Thu, 11/07/2024 - 00:31
ผมลองตัวลองคร่าวๆ รูปประโยคโอเคเลย แต่ตอบมั่วอยู่เยอะ qwen2 กระชับและถูกต้องกว่า
เดี๋ยวนี้ผมวัดความเก่งจากความ
Tasksenger Thu, 11/07/2024 - 08:54
เดี๋ยวนี้ผมวัดความเก่งจากความเข้าใจระหว่างภาษาในประโยคเดียวกันแล้ว ความเร็วตอนนี้พอระดับโต้ตอบใกล้เคียง real-time ในช่วงเวลาที่เครือข่ายไม่หนาแน่นได้แล้วจากที่ใช้ Gemini 1.5 Flash ที่บอกอย่างนี้เพราะพอลงมือใช้งานจริงการเชื่อมโยงระหว่างตัวแปรที่เราตั้งเป็นภาษาอังกฤษ เอาไว้กับบทสนทนาที่เป็นภาษาไทย สำคัญมาก มันทำให้เราสามารถเปลียนบทสนทนา กลายเป็น API ได้สบายเลย ถ้ามันเข้าใจตัวแปรที่เราประกาศไว้เป็นภาษาอังกฤษ และเชื่อมโยงกับประโยคภาษาไทยของเราได้ ซึ่งผมคิดว่า AI ทุกตัวน่าจะทำได้อยู่แล้ว แต่ถ้ามันเข้าใจเชิงลึกได้มันจะทำให้เราสามารถสั่งงานที่ซับซ้อน ได้จากประโยคเพียงประโยคเดียว แล้วจากที่ลอง Gemini 1.5 Flash มันทำได้ด้วยแฮะ ไม่แปลกใจเลยที่มันสามารถแก้สมการคณิตศาสตร์ได้ แต่แปลกใจตรงที่มันเข้าใจข้ามระหว่างภาษาอังกฤษและไทย ในประโยคเดียวกันของตัวแปรที่เขียนคนละภาษาได้ ยิ่งถ้า declare ตัวแปรให้ตรงกับความหมาย Google Translate มันยิ่งจะแม่นยำมากยิ่งขึ้น แถมจับข้อความใกล้เคียงได้แม่นยำพอดูเลยล่ะ