Ollama โครงการซอฟต์แวร์รัน LLM บนพีซียอดนิยมออกเวอร์ชั่น 0.19 มีความเปลี่ยนแปลงสำคัญคือรองรับเฟรมเวิร์ค MLX ที่ใช้สำหรับการรันปัญญาประดิษฐ์บนชิป Apple Silicon อย่างเป็นทางการ ทำให้ความเร็วในการรันสูงขึ้นมาก นอกจากนี้ยังรองรับโมเดลที่ quantize แบบ NVFP4 ที่เร่งความเร็วโดยเสียความแม่นยำน้อยลงด้วย

ทางโครงการทดสอบ Qwen3.5-35B-A3B แบบ NVFP4 บนชิป M5 พบว่ารัน prefill (ประมวลผลพรอมพ์) ได้ 1810 โทเค็นต่อวินาที เร็วขึ้น 57% ขณะที่การรัน decode ได้ 112 โทเค็นต่อวินาทีเร็วขึ้น 93% หรือเกือบเท่าตัว ทีมงานระบุว่าหากรันแบบ INT4 จะเร็วกว่านี้ขึ้นอีก

Ollama เพิ่มฟีเจอร์การเอาท์พุตข้อมูลเป็น JSON แบบเดียวกับ LLM API ต่างๆ โดยกำหนด schema ของ JSON ได้โดยตรง และโดยรวมเอาท์พุตแน่นอนกว่า JSON mode

สำหรับไลบรารี Ollama ในภาษา Python จะสามารถกำหนด schema ได้ทั้ง Python dict และ Pydantic ซึ่งจะสามารถตรวจสอบเอาท์พุตก่อนใช้งานได้ด้วย ส่วนไลบรารีภาษา JavaScript ก็สามารถใช้ Zod ได้

ฟีเจอร์นี้สามารถใช้งานร่วมกับไลบรารี OpenAI ได้โดยตรง ทาง Ollama แนะนำว่าในพรอมพ์ควรระบุไว้เสมอว่าให้แสดงเอาท์พุตเป็น JSON

ที่มา - Ollama