กูเกิลเปิดตัว TPU รุ่นที่ 8 ที่เดิมเปิดตัวมาสองรุ่นตั้งแต่งาน Google I/O ได้แก่ TPU 8t และ TPU 8i มาอีกสองรุ่น ได้แก่ TPU 8tx และ TPU 8i Max ที่ตอบสนองตลาดเฉพาะทางกว่าเดิม

TPU 8tx เป็นชิปที่ใช้เทคโนโลยีเข้ารหัสแรมของ AMD โดยในตัวชิปเป็น AMD EPYC รุ่นที่ 5 การเพิ่มความสามารถเข้ารหัสแรมทำให้ลูกค้าองค์กรที่ต้องการความมั่นใจว่าข้อมูลไม่หลุดออกไปภายนอกสามารถนำข้อมูลมาฝึกบนคลาวด์ได้สะดวกขึ้น

TPU 8i Max เป็นรุ่นแก้ปัญหา memory bandwidth ที่เป็นคอขวดของการผลิตโทเค็นใน LLM โดยอาศัยการเพิ่ม SRAM บนตัวชิป เป็น 768MB และเพิ่มแรม HBM เป็น 384GB ที่แบนวิดท์ 17.2TB/s

กูเกิลระบุว่าชิปรุ่นใหม่นี้อาศัย AlphaChip ปัญญาประดิษฐ์ออกแบบชิปมาช่วยลดเวลาทำงานลง งานบางส่วนที่ต้องใช้เวลานับสัปดาห์ลดเหลือเพียงไม่กี่ชั่วโมง และคาดว่าในอนาคตก็จะใช้ AI มาพัฒนา AI มากขึ้นเรื่อยๆ

ที่มา - Google