Cerebras Systems บริษัทผู้พัฒนาชิปประมวลผล AI ที่ก่อตั้งโดยอดีตพนักงาน AMD เปิดตัวชิปรุ่นใหม่ WSE-3 ที่มีจำนวนทรานซิสเตอร์มากถึง 4 ล้านล้านตัว, มีคอร์ประมวลผล AI จำนวน 9 แสนคอร์, แรม SRAM บนชิปขนาดใหญ่ 44GB, สมรรถนะประมวลผล AI 125 petaflops
ชิป Cerebras WSE-3 สามารถนำไปต่อกับหน่วยความจำภายนอกได้สูงสุด 1.3PB รองรับการเทรนโมเดลในอนาคตที่มีขนาดใหญ่กว่า GPT-4 หรือ Gemini ได้ 10 เท่า (โมเดลขนาด 24 ล้านล้านพารามิเตอร์ เก็บในหน่วยความจำผืนเดียวโดยไม่ต้องแบ่งส่วน)
คู่แข่งของ WSE-3 ย่อมเป็นชิป NVIDIA H100 ซึ่งเป็นชิปยอดนิยมของตลาด AI ณ เวลานี้ แนวทางของ Cerebras คือการสร้างชิปขนาดใหญ่กว่าจีพียูมากๆ แล้วใช้ชิปตัวเดียว แทนการนำจีพียูจำนวนมากๆ มาต่อกัน (พื้นที่ของชิป WSE-3 ใหญ่กว่า H100 ถึง 57 เท่า, คอร์เยอะกว่า 52 เท่า)
ชิป WSE-3 จะถูกนำไปใช้ในซูเปอร์คอมพิวเตอร์ Cerebras CS-3 ที่ต่อเชื่อมเป็นคลัสเตอร์ได้สูงสุด 2048 ตัว สามารถเทรนโมเดล Llama 70B เสร็จได้ภายในวันเดียว ตัวเครื่อง CS-3 ยังประหยัดพลังงาน โดยมีประสิทธิภาพเพิ่ม 2 เท่า เมื่อยังใช้พลังงานเท่ากับเครื่องรุ่นก่อน
ที่มา - Cerebras



on
มวลมหาประชาชิป
KuLiKo Sun, 17/03/2024 - 11:27
มวลมหาประชาชิป
หายหรือเปล่า
Matepong Sun, 17/03/2024 - 16:08
In reply to มวลมหาประชาชิป by KuLiKo
หายหรือเปล่า
ตั้งแต่ยุคที่มี sli จนมา
Whisper Sun, 17/03/2024 - 11:52
ตั้งแต่ยุคที่มี sli จนมา crossfire
ผมก็คิดนะว่าทำไมไม่ทำเป็นรุ่นที่รวมกันมาเลย
จนมายุค ai ที่ใช้ gpu เป็นแสน ต่อให้ workstation ai ขนาดเล็กยังใช้อย่างน้อยๆ ก็8 ตัวขึ้นไป ทำไมไม่ทำ ขนาดเวเฟ่อที่ใหญ่ขึ้นไปเลยเพราะยังไงตลาดใหญ่ของกลุ่มนี้ ไม่ใช่คนซื้อตัวสองตัวอยู่แล้วอ่ะนะ ส่วนตลาดรายย่อยก็ดันให้ไปซื้อ RTX แทนไป
แต่คิดๆ ดูอีกแง่ ยิ่งแผ่นใหญ่แบบนี้ yield จะเป็นยังไงนะ… ถ้า mass ได้จริงและราคาสมเหตสมผลคุ้มค่ากว่าซื้อของคู่แข่ง ก็น่าจะทำให้ตลาดบันเทิงได้เลยทีเดียว
ปกติwafer
Fourpoint Sun, 17/03/2024 - 19:18
In reply to ตั้งแต่ยุคที่มี sli จนมา by Whisper
ปกติwafer แผ่นนึงมันไม่ได้ใช้ได้ทั้งแผ่นมันหั่นออกเป็นชิ้นเล็กๆมันก็ได้ มีทั้งส่วนที่ดีและไม่ดี เทสไม่ผ่านก็เป็นของเสีย
ถ้าทำchip ใหญ่ๆถ้าเทสไม่ผ่านก็คือทิ้งทั้งแผ่นเลย เปลืองต้นทุนกว่าแน่ๆ
ถ้าออกแบบดีๆ
nununu Sun, 17/03/2024 - 20:05
In reply to ปกติwafer by Fourpoint
ถ้าออกแบบดีๆ ปิดเฉพาะส่วนที่เสียก็ได้ครับ
รุ่นที่ไม่เสียก็ขายราคาเต็ม
รุ่นที่คอร์ไม่เต็มก็ขายราคาถูกลงมา
เหมือนที่ CPU บางเจ้าเปิดปิดคอร์ได้
ปกติ CPU ทำแบบนั้นไงครับ
Fourpoint Sun, 17/03/2024 - 21:26
In reply to ถ้าออกแบบดีๆ by nununu
ปกติ CPU ทำแบบนั้นไงครับ พวกปิดcore เสีย ก็ขายรุ่นเล็กลง
แต่ถ้าแบบในข่าวนี้คือจำนวน core เยอะมากๆ ไม่งั้นคือต้องผลิตแบบเผื่อ core เสียเยอะๆจะได้yieldแบบลงpackageได้พอดีๆ มองยังไงก็ต้นทุนสูงกว่านะครับ
ทำแค่ไม่กี่ SKU ก็พอครับ
nununu Sun, 17/03/2024 - 23:49
In reply to ปกติ CPU ทำแบบนั้นไงครับ by Fourpoint
ทำแค่ไม่กี่ SKU ก็พอครับ ผู้ผลิตจะรู้ดีอยู่แล้วว่าหลังจากเข้าไลน์ผลิตจริงเป็น Mass production ส่วนใหญ่จะเสียกี่ core ทำเป็นกลุ่ม ซอย SKU ไม่เยอะให้ขายได้แบบไม่ต้องทิ้งทั้งแผ่น
อาจจะ
hisoft Mon, 18/03/2024 - 09:54
In reply to ตั้งแต่ยุคที่มี sli จนมา by Whisper
อาจจะ
เอามาทำงาน Generic ได้ไหมนะ
big50000 Sun, 17/03/2024 - 12:06
เอามาทำงาน Generic ได้ไหมนะ
น่าจะขึ้นอยู่กับว่ากับต้องการ
nununu Sun, 17/03/2024 - 20:32
In reply to เอามาทำงาน Generic ได้ไหมนะ by big50000
น่าจะขึ้นอยู่กับว่ากับต้องการความแม่นยำแค่ไหนในการคำนวณครับ float16 กับ float32
แล้วก็จะถูกสั่ง
Fzo Sun, 17/03/2024 - 12:35
แล้วก็จะถูกสั่ง ห้ามขายให้จีนอีกไหม
ชิป AI
TeamKiller Sun, 17/03/2024 - 13:21
ชิป AI เอามาเล่นเกมได้เปล่านี่
ไม่น่าจะเวิคมั้ง
Whisper Sun, 17/03/2024 - 18:24
In reply to ชิป AI by TeamKiller
ไม่น่าจะเวิคมั้ง มันคำนวนไม่เหมือนกัน แต่ทำให้ผมคิดว่า ถ้า intel amd nvidia บ้าจี้ตาม ต่อไปเราอาจจะมี deskTop ตามบ้านเครื่องเท่าตู้เย็นก็ได้นะแบบนี้ 😅 แต่ได้ความแรงแบบก้าวกระโดด พร้อมราคาก้าวกระโดด😂
ผมคิดว่าจะเหมือนเอาการ์ดจอมาร
TeamKiller Mon, 18/03/2024 - 14:14
In reply to ไม่น่าจะเวิคมั้ง by Whisper
ผมคิดว่าจะเหมือนเอาการ์ดจอมารัน AI ใช้พวก CUDA core งี้ ฮ่าๆ
ได้ ถ้าออกแบบให้ทำแบบนั้น
big50000 Sun, 17/03/2024 - 19:22
In reply to ชิป AI by TeamKiller
ถ้าเอามาใช้งานในฐานะ Co-processor ล่ะก็ ได้
Ubisoft AI จำลองฟิสิกส์ แม้จะไม่ได้แม่นยำมากแต่มันเร็วมาก
NVIDIA AI จำลองมวลของเหลว
Intel AI ทำให้สีของภาพสมจริงยิ่งขึ้น
บน Windows 11 เห็นแว้บ ๆ ว่าเอา NPU มา Upscale ภาพได้ด้วย
แต่ถ้าถามว่าเอามารัน "ทั้งเกม" โดยใช้เป็นชิป General Purpose ได้ไหม มันเป็นไปไม่ได้ตั้งแต่ GPU หรือ Math-coprocessor แล้ว ขนาด SPU ของ CELL เองยังทำงานด้วยตัวเองไม่ได้ ต้องให้ PPU ควบคุม และ DMA เข้าออกอีกที อนึ่งชิปพวกนี้ก็เอาชิป General Purpose มาตัดส่วนที่ไม่จำเป็นออกไปอยู่แล้ว ต่อให้มันทำงานแบบ CPU ได้ก็ไปตันกับคำสั่งที่มันไม่รู้ แล้วจำลอง Instruction เยอะ ๆ จนมันช้าลงไปอยู่ดี หรือบางทีก็เป็นไปไม่ได้เลย
เพราะคิดว่ามันจะเหมือน GPU
TeamKiller Mon, 18/03/2024 - 14:15
In reply to ได้ ถ้าออกแบบให้ทำแบบนั้น by big50000
เพราะคิดว่ามันจะเหมือน GPU ที่เราใช้กันทั่วๆ งี้นะครับ เอาแทน CPU เพียวๆ เลยผมไม่น่าจะได้อยู่
ชิป AI
TeamKiller Sun, 17/03/2024 - 13:21
Yield น่าจะน้อยจนแพงสุดๆ
Hoo Sun, 17/03/2024 - 19:38
Yield น่าจะน้อยจนแพงสุดๆ
ไม่ต้องยืนโชว์แผ่นเวเฟอร์ถ่าย
nununu Sun, 17/03/2024 - 20:36
ไม่ต้องยืนโชว์แผ่นเวเฟอร์ถ่ายรูปแล้ว ยืนถือแผ่นชิปแค่ตัวเดียวก็พอ
เพิ่งเคยเห็นชิปใหญ่ขนาดนี้วุ้
btoy Mon, 18/03/2024 - 16:48
เพิ่งเคยเห็นชิปใหญ่ขนาดนี้วุ้ย
บ้านอยู่ใกช้แหลมฉบัง
gamoman Mon, 18/03/2024 - 17:28
In reply to เพิ่งเคยเห็นชิปใหญ่ขนาดนี้วุ้ by btoy
บ้านอยู่ใกช้แหลมฉบัง เห็นชิปมาหลายขนาดแล้ว
ถ้าเอาไปแล่นในอ่าว ชิปนี้เล็กที่สุดเท่าที่เคยเห็นมาเลย ^_^