AMD

AMD ออกเบนช์มาร์คเปรียบเทียบสมรรถนะของชิป NPU ใน Ryzen Mobile 7040/8040 เทียบกับคู่แข่ง Intel Core Ultra

AMD NPU มีสมรรถนะตามสเปกที่ 16 TOPS ในขณะที่ NPU ของอินเทลทำได้ 10 TOPS แต่รอบนี้ AMD ลองนำมารันโมเดล LLM ยอดนิยมในตลาดอย่าง Llama 2 และ Mistral เปรียบเทียบให้ดูว่าได้ผลเป็นอย่างไร

คะแนนเบนช์มาร์คแยกเป็น จำนวน token ต่อวินาที ที่ชิปของ AMD เหนือกว่าราว 14-17% แต่ถ้าวัดเป็นระยะเวลารอคอยคำตอบ token แรก ในเคสของ Llama 2 ทำเวลาได้เร็วกว่า 71% และเคสของ Mistral ทำได้เร็วกว่า 41%

ประเด็นเรื่อง NPU ของอินเทลมีสเปกต่ำกว่า เป็นเรื่องที่อินเทลรับทราบอยู่แล้ว และบอกว่าในซีพียูรุ่นหน้าโค้ดเนม Lunar Lake จะขยับขึ้นมาเป็น 40 TOPS อย่างไรก็ตาม ตลาด NPU ฝั่งพีซีจะเจอกับ Snapdragon X Elite สมรรถนะ 45 TOPS ที่จะออกสินค้าจริงในช่วงกลางปีนี้

ที่มา - AMD via Tom's Hardware

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

งานแปลงเสียงพูดเป็นข้อความ น่าจะทำงานได้ดีขึ้น ทั้งในด้านตัดเสียงรบกวน การวิเคราะห์ในฝั่งปลายทางที่เร็วขึ้น รวมถึงเรื่องการใช้ปัญญาประดิษฐ์ช่วยในการจัดการการทำประชุม Online สามารถทำได้หลากหลาย และมีข้อจำกัดน้อยลงนั่นแหล่ะครับ เทคโนโลยีบางอย่างก็ทำเพื่อรออนาคตเหมือนกัน แต่หลักๆ ผมว่าน่าจะเป็นพวกนี้ เพราะมันเป็นทิศทางที่คอมพิวเตอร์ในอนาคตน่าจะไปทางนั้น โดยเฉพาะคอมพิวเตอร์ในองค์กร ที่ต่อไปแนวโน้มการประชุมน่าจะทำผ่านห้องประชุมเสมือนเป็นหลักเพราะคนเริ่มคุ้นเคยกันแล้ว แล้วเท่าที่ผมลองมา การจัดการ Stream ของข้อมูลพวกนี้ของปัญญาประดิษฐ์ทำได้ดีมากๆ ถึงแม้จะใช้ชิปยังไม่รองรับโดยตรงก็ตาม ซึ่งหมายถึงเทคโนโลยีทางซอฟต์แวร์มันก็มุ่งมาทางการจัดการข้อมูลใน Stream ให้มีประสิทธิภาพสูงขึ้นเรื่อยๆ ซึ่งงานเหล่านี้ถ้าได้ชิปเฉพาะมาช่วยก็จะทำให้ขีดจำกัดน้อยลง ต่อไปเมื่อเราประชุมเสร็จ อาจไม่ต้องใช้เลขาฯ ประชุมกันแล้วก็ได้ มีรายงานประชุมส่งทางอีเมล์จากปัญญาประดิษฐ์เลย ซึ่งตรงนี้ต้องอาศัยชิปประมวลผลฝั่งปลายทางร่วมด้วยเพื่อลดโหลดการทำงานฝั่ง Server โดยเฉพาะการวิเคราะห์ข้อมูลภาพ และเสียง

เอาเป็นว่าระบบ Virtual Meeting แบบใช้ปัญญาประดิษฐ์ช่วยในการจัดการการประชุม น่าจะมาก่อน Metaverse แล้วกันครับ เพราะมันขายได้แน่นอน (ผมมี Bias นะครับ เพราะผมกำลังทำงานพวกนี้อยู่ ก็เลยอาจสนใจเรื่องพวกนี้ซะเป็นส่วนใหญ่ อาจมีงานอื่นที่เหมาะสมที่เขาจะนำไปใช้งานก็ได้)

แล้วถ้าเป็นงาน ai image generative อย่าง stable diffusion กับงานพวกกราฟิกหรือ 3d อย่าง Photoshop หรือ autocad ตัว NPU จะเข้ามาช่วยได้มากไหมครับ? หรือยังจำเป็นต้องใช้ GPU อยู่ดี?

ถ้าว่าตามตัวอักษร หรือที่เราพบเจอใน Internet หรือคำทางการตลาดที่เขามักใช้กัน ก็ต้องบอกว่ามันทำงานคนละอย่าง แต่ถ้าว่าทางเทคนิค และหลักความเป็นจริง มันก็อยู่ที่ว่าซอฟต์แวร์ตัวนั้น หรืออัลกอริทึ่มนั้นเขาได้พัฒนาให้รองรับ NPU หรือเปล่าครับ ถ้ารองรับมันก็จะทำงานได้ดีขึ้น แต่ถ้าไม่รองรับมันก็ทำงานได้ แต่ก็จะใช้พลังงานประมวลผลจากหน่วยประมวลผลอื่นสูง จึงทำให้เกิดคอขวดในบางกรณี (งง ไหมเนี่ย ไม่รู้ว่าจะบอกว่าไงดี บางเรื่องมันก็เป็นเรื่องของการตลาด เพราะโดยพื้นฐานของคอมพิวเตอร์สุดท้ายมันก็ทำงานในแบบเดียวกันในขั้นตอนสุดท้ายอยู่ดี ดังนั้นไม่ว่าจะใช้ CPU, GPU , NPU แต่ท้ายสุดมันก็จะต้องแปลงเป็นคำสั่งเครื่องเพื่อทำงาน)

เอาเป็นว่าถ้ากระแสนี้จุดติด ผู้พัฒนา OS เห็นความสำคัญ เขาก็น่าจะทำให้รองรับในระดับ OS เลย ตรงนั้นก็จะทำให้โปรแกรมที่เรียกใช้คำสั่งมาตรฐานก็จะได้รับอานิสงค์ไป แต่ถ้ายังก็คงต้องดูเงื่อนไขในการใช้งานของ software แต่ละตัวว่ารองรับหรือไม่ เพราะซอฟต์แวร์บางตัวเขาก็ไม่ได้ประมวลผลที่เครื่องเรา แต่ประมวลผลที่ Server มันก็เลยทำได้ถึงแม้เครื่องเราไม่รองรับ

ตัว NPU นี่มันจะติดตั้งในเครื่อง client มันจะช่วยให้การประมวลผล raw data ทำได้ดีขึ้นก่อนจะส่งขึ้นไปประมวลผลเต็มรูปแบบบน Server อีกที เช่น เรื่องเสียง NPU จะมาช่วยเรื่องการตัดเสียงรบกวน หรือแปลง Stream เสียงให้เป็นข้อความก่อนไปทำงานต่อบน Server (ในอนาคตนะครับ ตอนนี้ยังมีน้อยมากที่ทำได้แบบนี้ได้) นั่นหมายถึงว่าอนาคตถ้ามันรองรับก็จะทำให้การทำงานเหล่านี้ดีขึ้น เร็วขึ้น แต่ถามว่าปัจจุบันทำได้ไหม ก็ทำได้ แต่มันยังห่างไกลจากสิ่งที่เราเห็นในหนัง Sci-fi แต่ถ้ามี NPU มันก็จะใกล้เข้ามาอีกระดับนึง (ถ้างง ก็ข้ามไปเถอะครับ ผมเป็นพวกไม่ใช่อ้างอิงตามตัวอักษร ผมจะใช้ความเข้าใจเป็นหลัก บางเรื่องผมจะเข้าใจเองคนเดียวก็มี 555)

ทั้งนี้รวมไปถึงความเป็นไปได้ที่เราจะเอา model ขนาดใหญ่ลงมาประมวลผลด้านล่างโดยไม่ต้องส่งข้อมูลกลับไปยัง Server เลยก็ได้ในบางกรณี ถ้าเขาพัฒนาจนสุดทาง

เข้าใจตามที่พิมพ์มาครับ ขอบคุณสำหรับความเห็นครับ

คงต้องรอให้ตัวนักพัฒนาเองออกมาทำให้รองรับก่อนถึงจะเปลี่ยนไปใช้ที่มี NPU