ชมของกูเกอล แล้ว เอาของตัวเองมาข่ม นะ 😀

N : ของฉันดีที่สุด ไปซื้อของตกยุกทำไม
M : ฉันไม่ซื้อของแพงที่ดีที่สุด แต่ซื้อของ(ถูกกว่า)ที่ทำงานตอบโจทย์ได้ดีที่สุดสำหรับฉัน

TPU เทพจริงจากที่เคยลองเทรนโมเดล ใช้ TPU 64 ตัวพร้อมกันมาก pretraining LLM from scratch ขนาดพารามิเตอร์ 3B ข้อมูลขนาด 60B token ใช้เวลาไม่กี่ชั่วโมงเอง ราคาถูกกว่า แต่ต้องไปใช้ jax ที่ใช้งานยากกว่า pytorch เยอะ กับ config ยุ่งวายพอสมควร หาก pytorch support หมดก็ไม่จำเป็นต้องใช้ NVIDIA อีกต่อไปนี้

กังวลแหละถ้าไม่กังวลก็ไม่ต้องพูด

ดูนิทานกระต่ายกับเต่า ของค่าย i กับค่าย A ไว้หน่อยแล้วกัน

ลื้อดูร้อนนะ

Gemini เก่งขนาดนี้ ใช้ชิป TPU ของ Google เอง
ก็เป็นข้อพิสูจน์ว่า Nvidia ไม่จำเป็นขนาดนั้น

อีก 20 ปี Demand ชิป AI ที่ใหญ่ที่สุดในโลก เชื่อว่าต้องมาจาก Google และ Tesla เป็นหลัก

เจ้านึงก็สร้างชิปใช้เองได้สบาย
อีกเจ้าก็ขู่แฮ่ๆว่าถ้าสร้างเองตูก็พร้อม

หุ้นตกแปลว่ามันดีจริงๆ

google เคยมี dc กึ่งสำเร็จรูป , แบบเป็นเรื่องเป็นราวจิงจัง มั้ยนะ ? .. แบบเป็น container หรือ modular dc ที่เป็น cluster มาแล้วเรียบร้อย ( อย่างของ ms หรือ aws ) ?

ถ้า ยังไม่มี เป็นเรื่องเป็นราว , ก็คงต้องเพิ่มส่วนนี้ หรือโละให้เช่าของเก่าเหมือนโกดังให้เช่า .. ถึงจะพอไปจับ ลูกค้ากลุ่มที่ใหญ่จนอยากทำศูนย์เองหรือจำเป็นต้องทำเอง , แต่ก็ยังไม่ใหญ่ขนาดเป็น platform ที่ต้องใช้ geo-redundant dc ขนาดรวมอีกหน่อยแตะหลายๆ GW

จะใช้ให้คุ้ม ไม่ได้เปลี่ยนชิปแล้วจบ , เคยเจอว่าจะใช้ tpu คือ stack ต้องทำใหม่ระดับทั้ง cluster ( เช่น ชิป optimized ไว้สำหรับใช้กับ fiber network เลย ) รวมถึง toolchain/workflow ต่างๆ .. upfront ส่วนนี้แบบ from scratch ให้คุ้ม , คือระบบต้องใหญ่มากพอที่จะ trade off กันได้ .. รวมถึงต้องประเมินรับความเสี่ยง , ว่าหากเผอิญมี paradigm shift หนักๆ คือทั้งหมดนี้อาจ set zero ( google ยังเปรยเองประมาณว่า จากนี้จะเอาแค่จุดที่ opex คุ้ม , จะเอาแค่ให้พอแข่งขันได้ จะไม่ลง capex เผื่อไว้มากๆ )

ลำพังโหลดงาน ai , nv ไม่ได้เจ๋งแบบกินขาด .. แต่ตอนนี้ถือว่าเค้ามี ecosystem กับ partner network ที่แข็งแล้ว , ทำให้พร้อมจับ scale & scenario ได้หลากหลายครอบคลุมกว่ามาก .. แล้วก็อยู่บนพื้นฐานที่ generic กว่า , หากต้องปรับอะไร ทั้งของเดิมและของใหม่ก็ยืดหยุ่นและพร้อมปรับได้มากกว่า

ต่อให้มี tpu บน fpga ก็ยังไม่น่าจะงัด nv ในแง่นี้ได้ , ถ้าจะขาย tpu ก็น่าจะต้องมีแบบ prefab แล้วขายแบบ opex ด้วยก็ดี ( จะขายเองหรือผ่าน partner ก็แล้วแต่ ) .. ไม่งั้นที่ขายได้ก็จะเป็นกลุ่มที่ใหญ่ระดับ platform หรือเป็นกลุ่มที่เล็กแบบให้ใช้ได้แค่ผ่าน as a service ก็ยังยอม , ทำให้ ecosystem มันโหว่กลาง รุสึกแปลกๆ ( รึไม่แปลกนะ ? )

อีกส่วนที่ ecosystem ของ tpu จะโหว่ก็คือ , กลุ่มที่เลือกใช้แบบ multi cloud .. แต่หากขายชิปที่ให้ aws/ms ด้วย , อันนี้ก็คงไม่มีประเด็นติดขัดอะไร ( แถมถ้าใช้ด้วยกัน , ก็น่าจะได้ economic of scale ) .. แต่ส่วนนี้ คิดว่าอาจจะอยากลองกั้กไว้แค่ที่ตัวเองก่อน , เพราะถ้าจะมาใช้ tpu ก็คือ data ต้องมา แล้วจะพลอยทำให้อาจมาใช้ service อื่นด้วย