กูเกิลเปิดตัวชิป TPU รุ่นที่ 8 แยกเป็น TPU 8t สำหรับฝึกโมเดลปัญญาประดิษฐ์และ TPU 8i สำหรับรัน แม้จะชื่อคล้ายกันแต่ชิปทั้งสองตัวกลับเป็นคอร์คนละแบบ และการเชื่อมต่อภายในต่างกัน

TPU 8t เพิ่ม SparseCore ควบคุมการเข้าถึงหน่วยความจำ ตัวคอร์ MXU สำหรับคูณเมทริกซ์รองรับทศนิยม 4 บิต (FP4) ในตัว เชื่อมต่อระหว่างชิปด้วย Virgo Network ที่เชื่อมชิปได้สูงสุด 134,000 ชิป ที่แบนวิดท์รวม 47 เพตาบิตต่อวินาที รวมพลังประมวลผลสูงสุด 1.6 ล้าน ExaFLOPS ชิปมีความสามารถอ้างหน่วยความจำระหว่างกัน TPUDirect RDMA โดยไม่ต้องผ่านซีพียู รวมถึงส่งข้อมูลจากสตอเรจเข้า TPU โดยตรงเลยก็ได้

TPU 8i ขยาย SRAM บนชิปขึ้น 3 เท่าตัวแก้ปัญหา memory bandwidth ที่เป็นคอขวดสำคัญในการรันโมเดล LLM เพิ่มส่วน Collectives Acceleration Engine (CAE) ที่ใช้รวบรวมผลการรันเพื่อเร่งความเร็วในช่วง decoding ของโมเดลปัญญาประดิษฐ์ กระบวนการเชื่อมต่อระหว่างชิปออกแบบใหม่เป็นรูปแบบ Boardfly ICI ที่ออกแบบโดยคำนึงถึงการรันโมเดลแบบ MoE

โดยรวมแล้วกูเกิลระบุว่า TPU 8t มีประสิทธิภาพต่อราคาดีกว่า Ironwood รุ่นก่อนหน้าถึง 2.7 เท่าตัว ขณะที่ TPU 8i ใช้รันโมเดลได้ดีขึ้น 80% โดยเฉพาะเมื่อใช้กับโมเดล MoE ขนาดใหญ่

ตอนนี้ฝั่งซอฟต์แวร์ของ TPU มี Pallas ของตัวเองที่รีดพลังประมวลผลได้สูงสุด ส่วน PyTorch รุ่น TPU อยู่ในช่วงพรีวิวแล้ว

ตอนนี้ผู้สนใจต้องลงทะเบียนแสดงความสนใจใช้งานล่วงหน้า

ที่มา - Google Cloud Blog