on
Gartner คาดว่าภายในปี 2027 องค์กรจะใช้โมเดล AI ขนาดเล็กเฉพาะงานมากกว่าโมเดลภาษาขนาดใหญ่ (LLMs) 3 เท่า เนื่องจากทำงานเฉพาะทางแม่นยำกว่า ประมวลเร็วกว่า และใช้ทรัพยากรน้อยลง
ถึงแม้ LLMs จะมีความสามารถด้านภาษา แต่กลับมีความแม่นย่ำน้อยลงเมื่อต้องทำงานเฉพาะด้าน ขณะที่โมเดลขนาดเล็กสามารถปรับแต่งให้ตรงกับข้อมูลและบริบทของผู้ใช้ ซึ่งช่วยประหยัดเวลา ทรัพยากร และต้นทุนในการประมวลผลและดูแลรักษา
ที่มา: ข่าวประชาสัมพันธ์
อันนี้ผมไม่ค่อยเห็นด้วยนะ…
Tasksenger Mon, 02/06/2025 - 18:00
อันนี้ผมไม่ค่อยเห็นด้วยนะ เพราะยังไง LLM ก็ยังเป็นส่วนสื่อสารกับผู้ใช้อยู่ดี เพียงแต่อาจมีขนาดเล็กลงเนื่องจากมีการ tuning เพื่อลดขนาด เช่น ตอนติดตั้งอาจให้ระบุภาษา แล้วระบบก็จะติดตั้งรูปแบบการสนทนาเฉพาะภาษานั้น เพื่อให้มีขนาดเล็กลง และอาจนำมาติดตั้งเป็นพื้นฐานบนเครื่อง client ได้เลย ส่วนภาษาอื่นจะใช้งานก็ติดตั้งเพิ่มเติมเอา ส่วน model เฉพาะทางก็ติดตั้งแยกได้เฉพาะทางตามงานที่ต้องการ อาจมี Model Store เพื่อให้ผู้ใช้หรือเลือกให้เหมาะสมกับงานได้เพื่อให้การทำงานมีความแม่นยำ โดยแต่ละตัวจะสามารถสื่อสารระหว่างกันได้ หรือเรียกใช้งานข้ามกันได้ โดยผู้ใช้ไม่จำเป็นต้องมาเปิดโปรแกรม โดยมี LLM เป็นตัวกลางเพื่อเรียกใช้งานให้เองผ่านตัว User interface ของ LLM เองเลย ดีไม่ดีผมว่า LLM จะมาพร้อมกับ OS หรือ Browser เป็นค่า default เพื่อติดตั้งลงบนเครื่อง client และจะมีบทบาทแทน OS ในท้ายที่สุดไปเลยก็ได้
ถ้า "เท่า"…
lew Tue, 03/06/2025 - 00:36
In reply to อันนี้ผมไม่ค่อยเห็นด้วยนะ… by Tasksenger
ถ้า "เท่า" หมายถึงปริมาณข้อมูลที่ผ่าน model ผมค่อนข้างเห็นด้วยกับ Gartner นะครับ
คือเราอาจจะมี SLM ช่วยงานอื่นๆ ที่เหมือนเราคุยกับ LLM อยู่อย่างเดียว แต่จริงๆ มีงานที่เตรียมไว้ เช่น ตัดสินใจว่างานประเภทไหน (เขียนโปรแกรมค่อยเรียก Claude, ถ้าคำถามค้นเว็บเรียก perplexity) ขณะเดียวกันงานบางประเภทในการเขียนโปรแกรม เช่น Cursor จะประมวลผลข้อมูลก่อนเรียก LLM ก็ใช้ SLM อ่านโค้ดก่อนได้เยอะมาก (ทำ API doc, สรุปโค้ด, ตัดสินใจเลือกโค้ดส่วนที่เกี่ยวข้องนำไปใส่พรอมพ์ ฯลฯ
พวกนี้รับ input อาจจะเกิน 3 เท่าด้วยซ้ำ แต่คนพึ่งความฉลาดของ LLM และไม่ทันคิดว่ามีของพวกนี้ทำงานเบื้องหลัง (หรือเบื้องหน้า)
ms พูดเหมือน comment…
tontpong Wed, 04/06/2025 - 03:27
In reply to อันนี้ผมไม่ค่อยเห็นด้วยนะ… by Tasksenger
ms พูดเหมือน comment อันนี้เลย 🤓 .. ใช่มั้ยหว่า , เข้าใจถูกปะนะ ? 🥹
https://www.blognone.com/node/146766
ผมเห็นด้วยกับ Gartner นะ…
incredibles Mon, 02/06/2025 - 21:46
ผมเห็นด้วยกับ Gartner นะ เอาจริงๆ Language model ขนาดเล็กที่เอามา Fine-tune ให้เก่งเฉพาะทางใดทางหนึ่งคือวิธีลดค่าใช้จ่ายทั้งช่วงทำ Fine-tune และตอน Deploy ขึ้นไปทำ Inference จริงๆได้มากที่สุด ยังไม่รวมการ Maintenance บน Cloud ที่ถูกกว่า
ซึ่งทั้งหมดนี้ก็จะส่งผลไปยังองค์กรที่จะซื้อ Service พวกนี้ไปใช้สามารถประหยัดทั้งเวลาและค่าใช้จ่ายได้มาก แต่ตอนนี้ AI มันไปไวมากๆ แทบจะคาดเดาไม่ได้เลยว่า 3 เดือนข้างหน้าจะเป็นอย่างไร นี่คาดการณ์ไปล่วงหน้า 3 ปีเลย
gartner พลอต จุดตัด…
tontpong Tue, 03/06/2025 - 07:19
In reply to ผมเห็นด้วยกับ Gartner นะ… by incredibles
gartner พลอต จุดตัด ไว้ประมาณว่า , slm ไม่ได้พร้อมใช้ทันที ต้องปรับแต่งก่อนใช้ .. ถ้ามีงานซ้ำๆ เยอะ ( recurrent ) ระยะยาวจะคุ้มกว่า llm , แต่ถ้างานซ้ำมีไม่เยอะ ( อย่างใช้ส่วนตัว ) ใช้ llm ไปเลยอาจคุ้มกว่า
https://emt.gartnerweb.com/ngw/globalassets/en/information-technology/images/infographics/slm-vs-llm-costs.webp
แต่ถ้ามี tool สำหรับ tuning แบบนี้เยอะๆ , แล้วใช้ได้ดีจิง ( https://www.blognone.com/node/146592 ) .. ต้นทุนการใช้น่าจะยิ่งลดลงไปอีก ทั้งเงินและเวลา , การนำมาใช้งานก็น่าจะยิ่งเพิ่มขึ้น ธุรกิจเล็กหรือธุรกิจส่วนตัวก็อาจจะใช้ด้วยได้
SLM ของ Gartner ไม่เล็ก…
tontpong Tue, 03/06/2025 - 05:58
SLM ของ Gartner ไม่เล็ก นะครับ 🎦 .. ไม่แน่ใจว่าหมายถึง , 10 หรือ 1x หรือ xx billion parameters ( แล้วก็ไม่รู้ว่า , ถ้าเป็น MoE คือนับ total หรือ active )
https://www.gartner.com/en/information-technology/topics/emerging-technology-watch#:~:text=slms%20are%20of%20the%20order%20of%20size%20of%2010%20billion%20parameters
( ในนี้ , gartner มีเข็น usage อีกแบบที่เรียกว่า Domain-specific AI models (DSAMs) .. แล้วเอ่ยต่อจาก r1 , ที่เป็น moe 671b แต่ active แค่ 37b )
article ใน huggingface , นับถึง 1x billion ( phi4 14b ยังหยวนๆ ให้ ) .. https://huggingface.co/blog/jjokah/small-language-model
ibm , llm คือเริ่มที่ หลักร้อย billion .. https://www.ibm.com/think/topics/small-language-models#:~:text=llms%20with%20hundreds%20of%20billions
phi 3.5 moe ( 42b , active 6.6b ) , ยังนับตัวเองเป็น slm .. https://github.com/microsoft/PhiCookBook