Meta ประกาศความสำเร็จในการสร้างซูเปอร์คอมพิวเตอร์ Research SuperCluster (RSC) เฟสที่สอง ที่เปิดตัวครั้งแรกต้นปี 2022 ตอนนี้มีสมรรถนะเกือบ 5 exaflops ถือเป็นซูเปอร์คอมพิวเตอร์อันดับหนึ่งของโลก (แชมป์ปัจจุบัน Frontier มีสมรรถนะ 1 exaflops)
สเปกเครื่องของ Research SuperCluster (RSC) ใช้เครื่อง NVIDIA DGX A100 จำนวน 2,000 เครื่อง นับจำนวน Tensor Core รวม 16,000 คอร์ เชื่อมต่อกันด้วย Quantum InfiniBand 16 Tb/s
ระบบสตอเรจใช้โซลูชันที่บริษัทพัฒนาเองเรียกว่า AI Research Store (AIRStore) โดยใช้ฮาร์ดแวร์จาก Penguin Computing และ Pure Storage ประกอบด้วยแคชขนาด 80PB และตัว bulk storage ขนาด 500PB, สมรรถนะ 16TB/s แต่ยังไม่มีรายละเอียดสถาปัตยกรรมเปิดเผยออกมา
หน้าที่ของ RSC คือการวิจัยด้าน AI ของบริษัท Meta ตัวอย่างคือโมเดลภาษาขนาดใหญ่ LLaMA, โมเดลแปลภาษา No Language Left Behind, โมเดลแปลภาษา Universal Speech Translator ซึ่งโมเดลขนาดใหญ่เหล่านี้ต้องใช้ทรัพยากรมหาศาลในการประมวลผล ตัวเลขของ Meta ระบุว่าสามารถลดเวลาเทรน LLaMA (1.4 ล้านล้าน tokens) ลงได้เหลือ 21 วัน, ลดเวลาเทรน No Language Left Behind จากเดิม 1 เดือนลงมาเหลือ 7-10 วัน
ที่มา - Meta
Comments
เจ้าอื่นเพิ่งขึ้นถึง 1 exaflops ได้เมื่อปีที่แล้ว ทำไมอยู่ๆมันถึงกระโดดมา 5 ได้เลยนะ
อันนี้ยังไม่ผ่านการ test ตามมาตรฐานเว็บ TOP500 ต้องรออีกเดือน แต่ผมว่าได้ 5 exaflop ก็ไม่แปลกครับ เคยมีกระโดด 5 เท่าในช่วงระหว่างปี 2001-2002 มาแล้ว
ค่าไฟเท่าไรหว่า
คือ GPU 16,000 ตัว ซึ่งน่าจะมี Tensor Core อยู่ 6,912,000 คอร์