หลังจากเมื่อคืนที่ผ่านมา Meta เปิดตัว Llama 3.1 โมเดลปัญญาประดิษฐ์ บรรดาคลาวด์รายเล็กและรายใหญ่ก็ประกาศเปิดบริการ Llama 3.1 โดยพร้อมเพรียงกัน โดยบริการที่ครบถ้วนที่สุดคือ Microsoft Azure เปิดให้บริการพร้อมกับประกาศราคาออกมาพร้อมกันทั้งสามขนาด Google Cloud นั้นเปิดให้ใช้งานโมเดล 405B แล้วแต่ยังไม่ประกาศราคา ขณะที่ AWS นั้นประกาศราคาเฉพาะรุ่น 70B และ 8B โดยรุ่น 405B ต้องเปิดเคสขอใช้งาน

Mayo Clinic รายงานถึงการพัฒนา RadOnc-GPT ผู้ช่วยวิเคราะห์โรคมะเร็งที่อาศัยข้อมูลการรักษามะเร็งในโรงพยาบาล Mayo Clinic เอง นำมา finetune โมเดล Llama 2 ของ Meta กระบวนการฝึกและการใช้งานทั้งหมดอยู่ในเน็ตเวิร์คของโรงพยาบาลเอง

Meta ปล่อยโมเดลปัญญาประดิษฐ์ Llama 3 สองรุ่น คือ 8B และ 70B แยกรุ่นย่อยสำหรับการทำตามคำสั่ง โดยยังมีรุ่น 400B อยู่ระหว่างการพัฒนา

รุ่น 8B นั้น Meta เทียบกับ Gemma 7B และ Mistral 7B Instruct เอาชนะได้ทุกชุดการทดสอบ บางหมวดเช่น HumanEval สำหรับการเขียนโปรแกรม และ GSM-8K สำหรับการคำนวณนั้นนำห่าง

รุ่น 70B ทาง Meta นำไปเทียบกับ Gemini Pro 1.5 ทำคะแนนนำได้บางชุดทดสอบ และเมื่อเทียบกับ Claude 3 Sonnet ก็ชนะทุกชุดทดสอบเช่นกัน

Meta รายงานถึงข้อมูลของคลัสเตอร์ใหม่ที่บริษัทใช้ฝึกปัญญาประดิษฐ์ โดยทำขึ้นมาเพื่อออกแบบและฝึก LLaMA 3 โดยเฉพาะ และเป็นพื้นที่ทดสอบสถาปัตยกรรมคลัสเตอร์ใหม่ที่จะขยายต่อไปในอนาคต โดยประกาศแผนว่าจะซื้อเพิ่มไปเรื่อยๆ จนสิ้นปีมีชิป H100 ประมาณ 350,000 ตัว พลังประมวลผลรวมเทียบเท่ากับชิป H100 จำนวน 600,000 ตัว

Meta ปล่อยโมเดล Code Llama ขนาด 70B หลังจากปีที่แล้วปล่อยรุ่นใหญ่สุดอยู่ที่ 34B เท่านั้น โดยตอนนี้ยังไม่บอกรายละเอียดนัก นอกจากระบุว่าคะแนนทดสอบ HumanEval อยู่ที่ 67.8 แซงหน้า GPT-4 (67.0) และ Gemini Pro (67.7) โดยระบบอื่นๆ ที่ได้คะแนนสูงกว่านี้มักใช้ GPT-4/GPT-3.5 ร่วมกับเทคนิคอื่นๆ เพื่อให้ทำคะแนนได้สูงขึ้น

โมเดลที่ปล่อยออกมามี 3 รุ่นย่อย ได้แก่ รุ่นพื้นฐานสำหรับใช้งานทั่วไป, รุ่นภาษาไพธอนโดยเฉพาะ, และรุ่น Instruct สำหรับรับคำสั่งเพื่อเขียนโปรแกรมตาม รุ่นที่รายงานคะแนน HumanEval นั้นคือรุ่น Instruct

Meta ปล่อย Code Llama โมเดลปัญญาประดิษฐ์ที่พัฒนาต่อจาก Llama2 มาฝึกกับซอร์สโค้ดขนาด 500 ล้านโทเค็น ได้โมเดลทั้งแบบเติมโค้ดปกติ, แบบรับคำสั่ง, และโมเดลฝึกเฉพาะกับโค้ด Python

ผลทดสอบการเขียนโค้ด HumanEval นั้น Code Llama ขนาด 34B ได้คะแนนดีกว่าโมเดลอื่นๆ ทั้งหมด รวมถึง GPT-3.5 หรือ ChatGPT ด้วย เป็นรองเพียง GPT-4 เท่านั้น ขณะที่โมเดลขนาดรองลงมา เช่น 7B และ 13B ก็ยังทำคะแนนได้ดีและตอบสนองเร็วกว่ามาก

Meta เปิดตัว Llama 2 ตัวต่อจาก Llama ที่เปิดตัวไปเมื่อเดือนกุมภาพันธ์ที่ผ่านมา ตัวโมเดลมี 3 ขนาดเช่นเดิม คือ 7B, 13B, และ 70B แต่เปลี่ยนแนวทางเพิ่มการฝึกกับชุดคำถามตอบมากขึ้น โดยมีการจูนกับชุดคำถามตอบกว่าแสนรายการ และฝึกเพิ่มด้วยการให้คนมาเลือกคำตอบที่ดีที่สุดอีกกว่าล้านครั้ง