AMD ออกเบนช์มาร์คเปรียบเทียบสมรรถนะของชิป NPU ใน Ryzen Mobile 7040/8040 เทียบกับคู่แข่ง Intel Core Ultra
AMD NPU มีสมรรถนะตามสเปกที่ 16 TOPS ในขณะที่ NPU ของอินเทลทำได้ 10 TOPS แต่รอบนี้ AMD ลองนำมารันโมเดล LLM ยอดนิยมในตลาดอย่าง Llama 2 และ Mistral เปรียบเทียบให้ดูว่าได้ผลเป็นอย่างไร
คะแนนเบนช์มาร์คแยกเป็น จำนวน token ต่อวินาที ที่ชิปของ AMD เหนือกว่าราว 14-17% แต่ถ้าวัดเป็นระยะเวลารอคอยคำตอบ token แรก ในเคสของ Llama 2 ทำเวลาได้เร็วกว่า 71% และเคสของ Mistral ทำได้เร็วกว่า 41%
ประเด็นเรื่อง NPU ของอินเทลมีสเปกต่ำกว่า เป็นเรื่องที่อินเทลรับทราบอยู่แล้ว และบอกว่าในซีพียูรุ่นหน้าโค้ดเนม Lunar Lake จะขยับขึ้นมาเป็น 40 TOPS อย่างไรก็ตาม ตลาด NPU ฝั่งพีซีจะเจอกับ Snapdragon X Elite สมรรถนะ 45 TOPS ที่จะออกสินค้าจริงในช่วงกลางปีนี้
ที่มา - AMD via Tom's Hardware
on
สำหรับงานทั่วๆ
TeamKiller Sun, 07/04/2024 - 23:55
สำหรับงานทั่วๆ ไปหรือเล่นเกมนี่ ชิป NPU จะเอามาช่วยอะไรได้บ้างเนี่ย
ืnot now but soon..
atmas Mon, 08/04/2024 - 00:35
In reply to สำหรับงานทั่วๆ by TeamKiller
not now-now but soon enough..
อันที่จับต้องได้ที่สุดตอนนี้น
mk Mon, 08/04/2024 - 06:23
In reply to สำหรับงานทั่วๆ by TeamKiller
อันที่จับต้องได้ที่สุดตอนนี้น่าจะเป็น เอามาช่วยปรับภาพ video call ครับ
Windows Studio Effect
งานแปลงเสียงพูดเป็นข้อความ
Tasksenger Mon, 08/04/2024 - 09:11
In reply to สำหรับงานทั่วๆ by TeamKiller
งานแปลงเสียงพูดเป็นข้อความ น่าจะทำงานได้ดีขึ้น ทั้งในด้านตัดเสียงรบกวน การวิเคราะห์ในฝั่งปลายทางที่เร็วขึ้น รวมถึงเรื่องการใช้ปัญญาประดิษฐ์ช่วยในการจัดการการทำประชุม Online สามารถทำได้หลากหลาย และมีข้อจำกัดน้อยลงนั่นแหล่ะครับ เทคโนโลยีบางอย่างก็ทำเพื่อรออนาคตเหมือนกัน แต่หลักๆ ผมว่าน่าจะเป็นพวกนี้ เพราะมันเป็นทิศทางที่คอมพิวเตอร์ในอนาคตน่าจะไปทางนั้น โดยเฉพาะคอมพิวเตอร์ในองค์กร ที่ต่อไปแนวโน้มการประชุมน่าจะทำผ่านห้องประชุมเสมือนเป็นหลักเพราะคนเริ่มคุ้นเคยกันแล้ว แล้วเท่าที่ผมลองมา การจัดการ Stream ของข้อมูลพวกนี้ของปัญญาประดิษฐ์ทำได้ดีมากๆ ถึงแม้จะใช้ชิปยังไม่รองรับโดยตรงก็ตาม ซึ่งหมายถึงเทคโนโลยีทางซอฟต์แวร์มันก็มุ่งมาทางการจัดการข้อมูลใน Stream ให้มีประสิทธิภาพสูงขึ้นเรื่อยๆ ซึ่งงานเหล่านี้ถ้าได้ชิปเฉพาะมาช่วยก็จะทำให้ขีดจำกัดน้อยลง ต่อไปเมื่อเราประชุมเสร็จ อาจไม่ต้องใช้เลขาฯ ประชุมกันแล้วก็ได้ มีรายงานประชุมส่งทางอีเมล์จากปัญญาประดิษฐ์เลย ซึ่งตรงนี้ต้องอาศัยชิปประมวลผลฝั่งปลายทางร่วมด้วยเพื่อลดโหลดการทำงานฝั่ง Server โดยเฉพาะการวิเคราะห์ข้อมูลภาพ และเสียง
เอาเป็นว่าระบบ Virtual Meeting แบบใช้ปัญญาประดิษฐ์ช่วยในการจัดการการประชุม น่าจะมาก่อน Metaverse แล้วกันครับ เพราะมันขายได้แน่นอน (ผมมี Bias นะครับ เพราะผมกำลังทำงานพวกนี้อยู่ ก็เลยอาจสนใจเรื่องพวกนี้ซะเป็นส่วนใหญ่ อาจมีงานอื่นที่เหมาะสมที่เขาจะนำไปใช้งานก็ได้)
แล้วถ้าเป็นงาน ai image
Mekokung Mon, 08/04/2024 - 12:10
In reply to งานแปลงเสียงพูดเป็นข้อความ by Tasksenger
แล้วถ้าเป็นงาน ai image generative อย่าง stable diffusion กับงานพวกกราฟิกหรือ 3d อย่าง Photoshop หรือ autocad ตัว NPU จะเข้ามาช่วยได้มากไหมครับ? หรือยังจำเป็นต้องใช้ GPU อยู่ดี?
ถ้าว่าตามตัวอักษร
Tasksenger Mon, 08/04/2024 - 16:52
In reply to แล้วถ้าเป็นงาน ai image by Mekokung
ถ้าว่าตามตัวอักษร หรือที่เราพบเจอใน Internet หรือคำทางการตลาดที่เขามักใช้กัน ก็ต้องบอกว่ามันทำงานคนละอย่าง แต่ถ้าว่าทางเทคนิค และหลักความเป็นจริง มันก็อยู่ที่ว่าซอฟต์แวร์ตัวนั้น หรืออัลกอริทึ่มนั้นเขาได้พัฒนาให้รองรับ NPU หรือเปล่าครับ ถ้ารองรับมันก็จะทำงานได้ดีขึ้น แต่ถ้าไม่รองรับมันก็ทำงานได้ แต่ก็จะใช้พลังงานประมวลผลจากหน่วยประมวลผลอื่นสูง จึงทำให้เกิดคอขวดในบางกรณี (งง ไหมเนี่ย ไม่รู้ว่าจะบอกว่าไงดี บางเรื่องมันก็เป็นเรื่องของการตลาด เพราะโดยพื้นฐานของคอมพิวเตอร์สุดท้ายมันก็ทำงานในแบบเดียวกันในขั้นตอนสุดท้ายอยู่ดี ดังนั้นไม่ว่าจะใช้ CPU, GPU , NPU แต่ท้ายสุดมันก็จะต้องแปลงเป็นคำสั่งเครื่องเพื่อทำงาน)
เอาเป็นว่าถ้ากระแสนี้จุดติด ผู้พัฒนา OS เห็นความสำคัญ เขาก็น่าจะทำให้รองรับในระดับ OS เลย ตรงนั้นก็จะทำให้โปรแกรมที่เรียกใช้คำสั่งมาตรฐานก็จะได้รับอานิสงค์ไป แต่ถ้ายังก็คงต้องดูเงื่อนไขในการใช้งานของ software แต่ละตัวว่ารองรับหรือไม่ เพราะซอฟต์แวร์บางตัวเขาก็ไม่ได้ประมวลผลที่เครื่องเรา แต่ประมวลผลที่ Server มันก็เลยทำได้ถึงแม้เครื่องเราไม่รองรับ
ตัว NPU นี่มันจะติดตั้งในเครื่อง client มันจะช่วยให้การประมวลผล raw data ทำได้ดีขึ้นก่อนจะส่งขึ้นไปประมวลผลเต็มรูปแบบบน Server อีกที เช่น เรื่องเสียง NPU จะมาช่วยเรื่องการตัดเสียงรบกวน หรือแปลง Stream เสียงให้เป็นข้อความก่อนไปทำงานต่อบน Server (ในอนาคตนะครับ ตอนนี้ยังมีน้อยมากที่ทำได้แบบนี้ได้) นั่นหมายถึงว่าอนาคตถ้ามันรองรับก็จะทำให้การทำงานเหล่านี้ดีขึ้น เร็วขึ้น แต่ถามว่าปัจจุบันทำได้ไหม ก็ทำได้ แต่มันยังห่างไกลจากสิ่งที่เราเห็นในหนัง Sci-fi แต่ถ้ามี NPU มันก็จะใกล้เข้ามาอีกระดับนึง (ถ้างง ก็ข้ามไปเถอะครับ ผมเป็นพวกไม่ใช่อ้างอิงตามตัวอักษร ผมจะใช้ความเข้าใจเป็นหลัก บางเรื่องผมจะเข้าใจเองคนเดียวก็มี 555)
ทั้งนี้รวมไปถึงความเป็นไปได้ที่เราจะเอา model ขนาดใหญ่ลงมาประมวลผลด้านล่างโดยไม่ต้องส่งข้อมูลกลับไปยัง Server เลยก็ได้ในบางกรณี ถ้าเขาพัฒนาจนสุดทาง
เข้าใจตามที่พิมพ์มาครับ
Mekokung Mon, 08/04/2024 - 23:26
In reply to ถ้าว่าตามตัวอักษร by Tasksenger
เข้าใจตามที่พิมพ์มาครับ ขอบคุณสำหรับความเห็นครับ
คงต้องรอให้ตัวนักพัฒนาเองออกมาทำให้รองรับก่อนถึงจะเปลี่ยนไปใช้ที่มี NPU
แล้ว 8050 จะทันปีนี้ไหม
sukoom2001 Mon, 08/04/2024 - 01:43
แล้ว 8050 จะทันปีนี้ไหม หรือจะเป็น 9050