Windows

ในงาน Microsoft BUILD ที่ผ่านมาไมโครซอฟท์ได้ประกาศถึงซอฟต์แวร์และบริการที่เกี่ยวกับปัญญาประดิษฐ์จำนวนมาก แต่ฟีเจอร์หนึ่งที่ประกาศออกมา คือ Windows AI Foundry ที่ปรับปรุงจากไลบรารีเดิม และเพิ่มความสามารถสำคัญคือการรันโมเดลปัญญาประดิษฐ์แบบ large language model ได้ในตัว ในงานครั้งนี้ Steven Bathiche ที่เป็น Microsoft Technical Fellow ก็ให้สัมภาษณ์ถึงแนวทางการพัฒนาวินโดวส์ด้วยเทคโนโลยีตัวนี้ว่ามันจะเป็นอินเทอร์เฟซของการทำงานร่วมกับคอมพิวเตอร์ในยุคต่อไป

Bathiche เล่าถึงประวัติศาสตร์การพัฒนาคอมพิวเตอร์ว่าเราวนอยู่กับรูปแบบเดิมซ้ำๆ นั่นคือ

  1. พลังประมวลผลที่สูงขึ้น เช่นชิปรุ่นใหม่ที่เร็วขึ้น หรือเทคโนโลยีการผลิตใหม่ๆ
  2. ซอฟต์แวร์ที่ซับซ้อนขึ้น เนื่องจากนักพัฒนาสามารถทำงานที่ระดับสูงขึ้น เช่นช่วงหลังที่ไม่ต้องจัดการหน่วยความจำด้วยตัวเองแล้ว
  3. การทำงานร่วมกับคอมพิวเตอร์เปลี่ยนไป จากซอฟต์แวร์ใหม่ๆ
  4. รูปแบบของคอมพิวเตอร์ที่เปลี่ยนไป ผู้ผลิตสามารถออกแบบคอมพิวเตอร์แบบใหม่ๆ ได้จากการใช้งานที่เปลี่ยนไป

รูปแบบการพัฒนาเหล่านี้สามารถย้อนไปได้ไกลหลายสิบปี เช่น คอมพิวเตอร์ยุคแรกๆ ที่ไม่มีซอฟต์แวร์ใดๆ แต่ต่อมาก็มี bootloader จัดการฟังก์ชันพื้นฐานของฮาร์ดแวร์ให้ หรือความเปลี่ยนแปลงสำคัญคือการใช้งานคอมพิวเตอร์แบบกราฟิก (GUI) ที่วินโดวส์เป็นจุดเปลี่ยนของไมโครซอฟท์เอง

การพัฒนาในช่วงปีที่ผ่านมาในมุมมองของ Bathiche มีสองส่วนประกอบกันคือ เทคโนโลยี machine learning ที่ก้าวหน้าขึ้นอย่างรวดเร็ว ขณะที่พลังประมวลผลในคอมพิวเตอร์ก็สูงขึ้นมาก โดยเขาเลือกชูประเด็น NPU ซึ่งเป็นหน่วยประมวลผล Matrix ที่สามารถคำนวณข้อมูลขนาดใหญ่ๆ ได้อย่างมีประสิทธิภาพ (Copilot+ PC ของไมโครซอฟท์นั้นกำหนดว่าต้องมี NPU ด้วยเสมอ)

ขณะที่ฝั่งซอฟต์แวร์นั้น Bathiche ระบุว่ามีความก้าวหน้าในการพัฒนาโมเดลปัญญาประดิษฐ์ในช่วงปีที่ผ่านมา เช่น Speculative Decoding ที่ช่วยเร่งความเร็วในการรันโมเดลปัญญาประดิษฐ์ หรือ Quantization ระดับ 2 บิตที่ช่วยบีบโมเดลให้เล็กลงมาก ทำงานเร็วขึ้น โดยยังได้ประสิทธิภาพที่ค่อนข้างดี เขาสาธิตรันโมเดล Phi-4 โดยที่ระบบไม่โหลดซีพียูหรือจีพียูบนเครื่องแต่อย่างใด แต่สามารถใช้ NPU ที่ทำงานโดยเฉพาะได้

แนวทางการรันโมเดลปัญญาประดิษฐ์บนคอมพิวเตอร์ส่วนบุคคลนับเป็นแนวทางสำคัญในช่วงหลัง นักพัฒนาจำนวนมากใช้งาน Ollama เพื่อรันโมเดลบนพีซีกันอยู่แล้ว แอปเปิลถึงกับโชว์ประสิทธิภาพการรัน LLM เมื่อเปิดตัวชิป M3 Ultra ขณะที่แพลตฟอร์มโทรศัพท์มือถือก็ล้วนโชว์ว่าปัญญาประดิษฐ์รุ่นต่อๆ ไปจะสามารถรันบนเครื่องได้โดยตรงโดยไม่อาศันบริการคลาวด์

Windows AI Foundry Local โดยหลักแล้วค่อนข้างคล้ายกับคำสั่ง Ollama ที่เมื่อติดตั้งแล้วจะเปิดให้ผู้ใช้ดาวน์โหลดโมเดลรุ่นต่างๆ มาใช้งานได้ แต่ความต่างสำคัญคือไมโครซอฟท์สามารถควบคุมการรองรับฮาร์ดแวร์ได้เองทั้งหมด ทำให้พยายามขยายการรองรับโมเดลต่างๆ บนแพลตฟอร์มที่ต้องการได้ ระหว่างชิปกราฟิก, NPU, หรือแม้แต่ CPU ธรรมดาเอง โดยไมโครซอฟท์ย่อโมเดลให้พร้อมใช้งานมาแล้วจำนวนหนึ่ง และเปิดเครื่องมือสำหรับการย่อโมเดลให้นักพัฒนาภายนอกด้วย

Bathiche ระบุว่าเป้าหมายปลายทางของการรันปัญญาประดิษฐ์บนพีซียุคต่อไปคือการสร้าง Agent เพื่อติดต่อกับผู้ใช้ แทนที่จะให้ผู้ใช้เรียนรู้อินเทอร์เฟซและความสามารถต่างๆ ของคอมพิวเตอร์ Agent จะสามารถจดจำเรื่องราวต่างๆ ที่ผ่านมา ทำความเข้าใจอินเทอร์เฟซของโปรแกรมต่างๆ ในปัจจุบัน และสามารถเข้าควบคุมโปรแกรมต่างๆ แทนคนได้อย่างมีประสิทธิภาพ เขายอมรับว่าโมเดลทุกวันนี้อาจจะยังต้องการการออปติไมซ์เพิ่มเติมเพื่อให้ใช้งานได้ดีขึ้นต่อไป

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

tontan Wed, 04/06/2025 - 00:54

Windows AI Foundry Local โดยหลักแล้วค่อนข้างคล้ายกับคำสั่ง Ollama ที่เมื่อติดตั้งแล้วจะเปิดให้ผู้ใช้ดาวน์โหลดโมเดลรุ่นต่างๆ มาใช้งานได้

Fail ตั้งแต่คิดล่ะ มีแค่ Windows ใช้งานได้ก็จบแล้ว เพราะแพ้ ollama ไปแล้ว ทำ ollama ทีเดียวใช้ได้หมด นอกจาก ollama ก็มี llama.cpp ทำงานได้ตั้งแต่คอมมี GPU ไปถึง RPI ยังไม่รวมตัวอื่น gguf จะมาแทน ONNX ไม่ต้องใช้ onnxruntime กับ windows ml kit (ฝั่ง llm ตัว onnx แพ้ gguf ไปแล้ว)

และไม่แน่ใจ MS ได้พูดถึงเครื่องมือหรืออะไรที่สามารถจูงโมเดลเพิ่มเติมเองภายในเครื่องผู้ใช้ไหม อันนี้ถ้ามีจะน่าสนใจกว่า

ผมว่าปัญหาก้อนใหญ่คือ Ollama (และโครงการอื่นๆ) ไม่ยอมรองรับ NPU ครับ เลยต้องมาทำเอง

เพราะฝั่ง MLX รองรับกันไปนานแล้ว ซึ่งก็น่าคิดเหมือนกันว่าไมโครซอฟท์คิดผิดไหม เพราะ NPU มันจำกัดมากแม้จะบอกว่าออกแบบมาเฉพาะ ตัว Phi-4 นี่ต้อง quantize 2-bit ถึงรันได้

+1 คิดว่าสเปคมันออกมาเร็วไปมาก ตัว NPU ขั้นต่ำจำกัดมากเกินจนแทบใช้งานอะไรจริงยังไม่ได้
สมมติอนาคตหาทางให้อะไรมันมารันเป็นเรื่องเป็นราวได้จริงมันก็ยังจำกัดมากอยู่ดี อย่างน้อยที่สุดก็คงต้องมีอัปเกรดสเปคขั้นต่ำอีกรอบนึง

Tasksenger Wed, 04/06/2025 - 06:47

Bring Me The Horizon - 'Kingslayer' เพลงนี้มันส์ดีนะ ฟังแล้วนึกถึงโลกยุคอนาคต ทั้งที่เนื้อเพลงเกี่ยวกับการสรรเสริญนักบุญ

https://www.youtube.com/watch?v=hb2mMVdx1KU