Tags:
Node Thumbnail

Meta ประกาศความสำเร็จในการสร้างซูเปอร์คอมพิวเตอร์ Research SuperCluster (RSC) เฟสที่สอง ที่เปิดตัวครั้งแรกต้นปี 2022 ตอนนี้มีสมรรถนะเกือบ 5 exaflops ถือเป็นซูเปอร์คอมพิวเตอร์อันดับหนึ่งของโลก (แชมป์ปัจจุบัน Frontier มีสมรรถนะ 1 exaflops)

สเปกเครื่องของ Research SuperCluster (RSC) ใช้เครื่อง NVIDIA DGX A100 จำนวน 2,000 เครื่อง นับจำนวน Tensor Core รวม 16,000 คอร์ เชื่อมต่อกันด้วย Quantum InfiniBand 16 Tb/s

ระบบสตอเรจใช้โซลูชันที่บริษัทพัฒนาเองเรียกว่า AI Research Store (AIRStore) โดยใช้ฮาร์ดแวร์จาก Penguin Computing และ Pure Storage ประกอบด้วยแคชขนาด 80PB และตัว bulk storage ขนาด 500PB, สมรรถนะ 16TB/s แต่ยังไม่มีรายละเอียดสถาปัตยกรรมเปิดเผยออกมา

หน้าที่ของ RSC คือการวิจัยด้าน AI ของบริษัท Meta ตัวอย่างคือโมเดลภาษาขนาดใหญ่ LLaMA, โมเดลแปลภาษา No Language Left Behind, โมเดลแปลภาษา Universal Speech Translator ซึ่งโมเดลขนาดใหญ่เหล่านี้ต้องใช้ทรัพยากรมหาศาลในการประมวลผล ตัวเลขของ Meta ระบุว่าสามารถลดเวลาเทรน LLaMA (1.4 ล้านล้าน tokens) ลงได้เหลือ 21 วัน, ลดเวลาเทรน No Language Left Behind จากเดิม 1 เดือนลงมาเหลือ 7-10 วัน

No Description

ที่มา - Meta

Get latest news from Blognone

Comments

By: checkmate95
ContributorAndroid
on 22 May 2023 - 10:27 #1285117
checkmate95's picture

เจ้าอื่นเพิ่งขึ้นถึง 1 exaflops ได้เมื่อปีที่แล้ว ทำไมอยู่ๆมันถึงกระโดดมา 5 ได้เลยนะ

By: zyzzyva
Blackberry
on 22 May 2023 - 11:50 #1285129 Reply to:1285117

อันนี้ยังไม่ผ่านการ test ตามมาตรฐานเว็บ TOP500 ต้องรออีกเดือน แต่ผมว่าได้ 5 exaflop ก็ไม่แปลกครับ เคยมีกระโดด 5 เท่าในช่วงระหว่างปี 2001-2002 มาแล้ว

By: TeamKiller
ContributoriPhone
on 22 May 2023 - 10:44 #1285122
TeamKiller's picture

ค่าไฟเท่าไรหว่า

By: veer
Windows PhoneUbuntu
on 22 May 2023 - 13:12 #1285139
veer's picture

16,000 NVIDIA A100 Tensor Core GPUs

คือ GPU 16,000 ตัว ซึ่งน่าจะมี Tensor Core อยู่ 6,912,000 คอร์