แอปเปิลเปิดตัวไลบรารี MLX-LM ที่มาพร้อมชุดคำสั่งที่เปิดให้ผู้ใช้สามารถรันโมเดลปัญญาประดิษฐ์แบบ LLM โดยมีความสามารถครบถ้วนตลอดกระบวนการใช้งาน LLM ตั้งแต่การรัน, การแคช, จนถึงการฝึกโมเดลเพิ่มเติม

กระบวนการรัน LLM ของ MLX-LM นั้นรองรับการ KV cache ทำให้โมเดลรันเร็วขึ้น ผู้ใช้สามารถเลือกขนาดหน่วยความจำที่จะใช้แคชได้

คำสั่ง quantization เปิดให้ผู้ใช้สามารถย่อโมเดลได้ด้วยตัวเอง และยังคอนฟิกได้อย่างละเอียด เช่น ย่อบางชั้นเล็กน้อยและย่อบางชั้นให้เล็กเป็นพิเศษ ส่วนกระบวนการ fine-tuning นั้น MLX-LM รองรับทั้งแบบเต็มโมเดลและแบบ LoRA ซึ่งฝึกได้เร็วกว่า

โมเดลที่ใช้งานกับ MLX-LM นั้นยังมีจำกัด แต่รองรับโมเดลยอดนิยม เช่น Mistral, Mixtral, Phi-2, Qwen ตลอดจน DeepSeek และไลบรารีนี้รองรับ macOS 15 ไม่ต้องรอ macOS 26 แต่อย่างใด

ที่มา - MLX-LM