By: mk 
on 18 March 2023 - 09:04
Tags:
ไมโครซอฟท์เล่าเบื้องหลังการสร้างซูเปอร์คอมพิวเตอร์ขนาดใหญ่บน Azure เพื่อให้บริการ OpenAI เทรนโมเดล AI ขนาดใหญ่จนกลายมาเป็น ChatGPT แบบที่เราเห็นกันทุกวันนี้
จุดเริ่มต้นของเรื่องนี้มาจากข้อตกลงระหว่างไมโครซอฟท์กับ OpenAI ในปี 2019 ตอนนั้นไมโครซอฟท์มีระบบเซิร์ฟเวอร์สำหรับเทรนโมเดล AI ของตัวเองอยู่แล้ว (เช่น โมเดลที่ใช้ใน Microsoft Translator หรือตัวตรวจสะกดใน Word) แต่ขีดความสามารถนั้นไม่พอกับที่โมเดลขนาดใหญ่มากๆ ของ OpenAI ต้องการใช้งาน ทำให้ไมโครซอฟท์ต้องหาวิธีออกแบบระบบใหม่
ระบบเบื้องหลังซูเปอร์คอมพิวเตอร์ตัวนี้ใช้จีพียู NVIDIA A100 จำนวน "หลายหมื่นตัว" (tens of thousands) ซึ่งไมโครซอฟท์ประเมินคร่าวๆ ว่าต้นทุนของโครงการอยู่ในหลัก "หลายร้อยล้านดอลลาร์" (several hundred million dollars) แต่มีเงินซื้อจีพียูอย่างเดียวก็ไม่พอ ไมโครซอฟท์ต้องหาวิธีต่อเชื่อมจีพียูจำนวนเยอะขนาดนี้ที่กระจายตัวอยู่ตามศูนย์ข้อมูล 60 เขตทั่วโลกเข้าด้วยกัน
ตัวแกนของเทคโนโลยีเชื่อมต่อความเร็วสูงคือ InfiniBand ของ NVIDIA (จากการซื้อ Mellanox ในปี 2019) แต่ NVIDIA เองก็ไม่เคยนำจีพียูจำนวนเยอะขนาดนี้มาต่อกัน ทำให้ไม่มีใครรู้ว่าข้อจำกัดของเทคโนโลยีเชื่อมต่อเป็นไปได้แค่ไหน
ไมโครซอฟท์ใช้วิธีแบ่งส่วนงาน (partition) แล้วกระจายไปยังคลัสเตอร์ของจีพียูต่างๆ เป็นชุดๆ โดยมี InfiniBand เป็นตัวเชื่อม แต่ก็ต้องพัฒนาซอฟต์แวร์สำหรับกระจายงานทั้งจีพียูและระบบเครือข่ายเพิ่มอีกมาก (ผ่านซอฟต์แวร์ ONNX Runtime ที่เปิดเป็นโอเพนซอร์ส) ซึ่งใช้เวลาหลายปีที่ผ่านมาทำเรื่องนี้ อีกวิธีที่ใช้คือค่อยๆ ขยายจำนวนจีพียูและเครือข่ายทีละน้อย เพื่อดูว่าระบบโดยรวมรองรับได้แค่ไหน รวมถึงมีเรื่องระบบระบายความร้อน ระบบไฟสำรอง ที่ต้องขยายตัวรองรับด้วย
เนื่องจากระบบคอมพิวเตอร์เหล่านี้เป็นของ Azure เป้าหมายจึงเป็นการออกแบบเพื่อเปิดให้คนนอกใช้งานด้วย แม้จุดเริ่มต้นเกิดจากการคัสตอมระบบตามความต้องการของลูกค้าเพียงรายเดียว (OpenAI) แต่วิธีการสร้างเครื่องของ Azure คือสร้างโดยมีโจทย์ให้คนทั่วไปใช้งาน (generalized) ซึ่งตอนนี้เครื่องถูกนำมาให้บริการ Azure OpenAI ที่บุคคลทั่วไปสามารถเช่าเทรนโมเดล
ศูนย์ข้อมูลแห่งหนึ่งของไมโครซอฟท์ที่รัฐวอชิงตัน ที่ให้บริการ OpenAI Service
ตอนนี้ไมโครซอฟท์กำลังสร้างเครื่องซูเปอร์คอมพิวเตอร์ใหม่ที่ใช้จีพียู NVIDIA H100 รุ่นใหม่ ซึ่งจะใช้เทรนโมเดลตัวใหม่ๆ ที่ใหญ่กว่าเดิมขึ้นไปอีก และตอนนี้เริ่มเปิดให้คนนอกเช่าเครื่อง H100 ใช้งานแล้ว
Get latest news from Blognone
Follow @twitterapi
Blognone Jobs Premium
Cloudnone
- Kubernetes คืออะไร [Part 1] เกิดขึ้นมาอย่างไร? ทำไมต้องใช้มัน? | Cloudnone EP.14
- CI/CD ยังไงดี ตั้งเซิร์ฟเวอร์เอง vs เช่าคลาวด์ | Cloudnone EP.13
- รู้จักโน้ตบุ๊กบนคลาวด์ เช่าใช้งาน Jupyter Notebook ที่ไหนดี | Cloudnone Ep.12
- สรุปข่าวใหญ่ปี 23 และคาดการณ์เทรนด์ปี 24 ในวงการ Cloud | Cloudnone EP.11
- สรุปของใหม่และสาระสำคัญจาก AWS re:Invent 2023 | Cloudnone Special EP
Comments
เหตุผลมี่อเมริกาเป็นเจ้าโลกก็เพราะงี้ เคยคิดเล่นๆถ้าโลกนึ้ไม่มีประเทศอเมริกาป่านนี้เทคโนโลยีน่าจะพึ่งเทียบได้กับยุค90
ส่วนตัวไม่คิดอย่างนั้น คนเก่งๆ โดนอเมริกา กวาดต้อนไปเยอะ
ที่เรียกว่าปัญหาสมองไหล คนไทยเก่งๆก็ทำงานที่โน้นเยอะ คนเก่งๆทำงานพวกนึ้ ส่วนใหญ่ ไม่ใช้อเมริกาแท้ๆ ส่วนที่แท้ๆยังติดกับยุค 60-70 อยู่เลยเหยียดผิว
ถ้าไม่มีอเมริกา โลกก็คงไปได้ด้วยตัวมันเอง อาจจะมีประเทศอื่นขึ้นแทน โลกคงไม่ดีขึ้นหรือแย่ลง ความโลภของคนยังเป็นปัญหาหลัก ของโลกต่อไป อย่างที่บอกคนไม่ถึง 10% แต่ครอบครองทรัพยากรเกิน 90%
บ่นไปเรื่อย อาจจะไม่เกี่ยวเนื้อหาเท่าไหร่
เจ้าหญิงยังไปอยู่
ก็ย้อนกลับมาที่ว่า ทำไมคนเก่งๆ ถึงได้ไปเมกากันหมดล่ะครับ โดนอุ้ม ลักพาตัว?
เพราะสภาพแวดล้อมดึงดูด? American dream? ระบบคุ้มครองทรัพย์สินทางปัญญาที่เข้มแข็ง?
คนเก่งมีทั่วโลกแต่ทำไมเขาไปรวมตัวกันที่นั่นได้ ถ้าตีโจทย์ไม่แตกก็ไม่มีวันแซงได้หรอกครับ
แปลกตรงไหน เป็นประเทศที่มีกำลังซื้อ มีตลาดขนาดใหญ่ ระบบทำให้ระบบให้คนทดลองได้ ล้มแล้วลุกใหม่ได้เร็ว สร้างให้ระบบเอื้อให้เกิดการพัฒนาและการแข่งขัน โปร่งใส ตรวจสอบได้ คอรัปชั่นต่ำ
ยิ่งในกลุ่ม tech/startup มีระบบคิดที่ให้คุณค่าของสิ่งที่ทำ/contriubtion ไม่มองที่อายุ/วุฒิ/เกิดก่อนแต่แก่กะโหลกกะลาเค้าก็ไม่เอา ถ้าคุณเก่งกว่าคุณก็โตได้
คงไม่เคยได้ยินว่าอเมริกาคือประเทศ ไม่ใช่เชื้อชาติ ทหารเค้ายังมีเป็นร้อยที่มา คนธรรมดาก็ไม่ต้องพูดถึง
ระบบเค้าไม่สนหรอกว่าคุณจะมาจากไหน แต่ระบบเค้าบอกว่าถ้าคุณเก่ง คุณทำได้ คุณก็เอาไป แฟร์จนไม่รู้ว่าจะแฟร์ยังไงแล้ว
คนที่ฉลาด เค้าเห็นความแฟร์ ความโปร่งใส ความเท่าเทียมกันตรงนี้ แล้วมองเห็นโอกาส ถ้าเค้าไปได้ ไม่ติดอะไร ใครจะไม่ไป
คนโง่ๆก็งมเต่าก็อาจจะไม่เข้าใจ ร้องสมองไหลๆ โถ…ประเทศพวกนั้นก็ทำตัวเองทั้งนั้น
ใช้คำพูดว่ากวาดต้อนเพื่อปลอบใจตัวเองหรือเปล่า ไม่มีใครบังคับไปเล้ย มีแต่บอกห้าม ไม่ให้เข้า ไล่กลับประเทศ ไม่ออกวีซ่าให้
ถ้ามันมีประเทศที่แฟร์มากกว่านี้ โอกาสมากกว่าอเมริกา เดี๋ยวคนเก่งๆก็แห่กันไปเอง
แต่ที่แน่ๆไม่ใช่ไทย จีน รัสเซีย แน่นอน เพราะประเทศพวกนี้ เห็นแต่คนจะพยายามจะหนีไปทั้งนั้น
อย่างแจ๊กหม่าอะไรนั่น ตอนนี้กลับจีนได้ยังนะ 55 หรือย้ายประเทศไปอยู่ไหนแล้ว?
อันนี้จริง ต่อให้ไม่มีอเมริกา โลกก็พัฒนาได้
แถมใครทำท่าจะแซงอเมริกาก็จะโดนคว่ำบาตร/บ่อนทำลาย
มันเลยเหมือนว่าระบบอเมริกามันพัฒนาเร็วกว่าดีกว่า
แต่จริงๆถ้าไม่มีอเมริกาโลกอาจจะพัฒนาเร็วกว่านี้ก็เป็นได้
"Microsoft is eating the world."
ชอบที่ใช้ ONNX จะได้ไม่ต้องติดกับ Framework และ hardware เฉพาะค่ายที่ Framework นั้นรองรับ
ไปอยู่อเมริกาเรื่องหลักคือเงินครับ งานดีเงินดีใครจะไม่เอาเก็บเงินได้ก็กลับมาตายรังดีกว่า ว่ากันไปเงินคือ พระเจ้า
Microsoft was not "Micro" anymore.