Apple Silicon
แอปเปิลเปิดตัวไลบรารี MLX-LM ที่มาพร้อมชุดคำสั่งที่เปิดให้ผู้ใช้สามารถรันโมเดลปัญญาประดิษฐ์แบบ LLM โดยมีความสามารถครบถ้วนตลอดกระบวนการใช้งาน LLM ตั้งแต่การรัน, การแคช, จนถึงการฝึกโมเดลเพิ่มเติม
กระบวนการรัน LLM ของ MLX-LM นั้นรองรับการ KV cache ทำให้โมเดลรันเร็วขึ้น ผู้ใช้สามารถเลือกขนาดหน่วยความจำที่จะใช้แคชได้
คำสั่ง quantization เปิดให้ผู้ใช้สามารถย่อโมเดลได้ด้วยตัวเอง และยังคอนฟิกได้อย่างละเอียด เช่น ย่อบางชั้นเล็กน้อยและย่อบางชั้นให้เล็กเป็นพิเศษ ส่วนกระบวนการ fine-tuning นั้น MLX-LM รองรับทั้งแบบเต็มโมเดลและแบบ LoRA ซึ่งฝึกได้เร็วกว่า
on
on
on