Tensor Processing Unit

Tags:
Node Thumbnail

กูเกิลเปิดตัวชิป TPU v5p รุ่นใหม่ล่าสุดที่เตรียมจะใช้เร่งความเร็วในการพัฒนา Generative AI โดยเฉพาะ

พลังประมวลผลต่อชิปของ TPU v5p นั้นสูงกว่ารุ่นก่อนหน้ามาก แต่จุดเด่นเป็นพิเศษคือ จำนวนชิปต่อตู้ (pod) นั้นสูงถึง 8,960 ชิป มากกว่าสองเท่าตัวของ TPU v4 และแรมต่อชิปนั้นสูงถึง 95GB เทียบกับ TPU v4 ที่เคยรับแรม 32GB แนวทางนี้ NVIDIA ก็เคยออกการ์ดรุ่นพิเศษเพื่องานกลุ่ม LLM ที่ต้องการแรมปริมาณสูงมาก

Tags:
Node Thumbnail

Google Cloud เปิดตัวชิปประมวลผลปัญญาประดิษฐ์ Cloud TPU v5e เวอร์ชันใหม่ที่อัพเกรดจาก TPU v4 ซึ่งเริ่มใช้มาตั้งแต่ปี 2020

ตอนนี้ยังมีรายละเอียดของ TPU v5e ออกมาไม่มากนัก แต่มันเป็น TPU เวอร์ชันคัสตอม (ตัวท้าย e) ที่เน้นประสิทธิผลเรื่องต้นทุน (cost-efficiency) กว่า TPU รุ่นปกติ จากตัวเลขของกูเกิลระบุว่ามีประสิทธิภาพต่อดอลลาร์ในการเทรนโมเดล LLM ดีกว่า TPU v4 สูงสุดราว 2 เท่า และประสิทธิภาพต่อดอลลาร์ในการรันโมเดลดีกว่าสูงสุด 2.5 เท่า

Node Thumbnail

กูเกิลเผยรายละเอียดของซูเปอร์คอมพิวเตอร์ที่ใช้ชิปออกแบบเอง Tensor Processing Unit (TPU) v4 ซึ่งเริ่มใช้ในโปรดักชันมาตั้งแต่ปี 2020 (แต่เพิ่งเผยรายละเอียดปี 2023) ว่าสามารถยกระดับประสิทธิภาพ machine learning ได้เกือบ 10 เท่าจากเครื่อง TPU v3 และสามารถเอาชนะเครื่องที่ใช้จีพียู NVIDIA A100 ได้ด้วย

TPU v4 เปิดตัวต่อสาธารณะเมื่อปี 2021 และทำผลงานเบนช์มาร์คด้าน AI ได้ดี เรื่องใหม่ที่กูเกิลเปิดเผยเพิ่มเติมในรอบนี้คือเครื่อง TPU v4 มีฟีเจอร์สำคัญ 2 ประการ

Tags:
Node Thumbnail

SiFive บริษัทผู้ผลิตซีพียู RISC-V ชื่อดัง เปิดเผยว่าซีพียูของตัวเองรุ่น SiFive Intelligence X280 ถูกนำไปใช้ในศูนย์ข้อมูลของกูเกิล เพื่อช่วยเร่งการประมวลผล AI/ML แล้ว

สิ่งที่กูเกิลทำคือนำ X280 ไปรันคู่กับหน่วยประมวลผล Tensor Processing Unit (TPU) ของตัวเอง เพื่อแบ่งเบาภาระงานบางอย่างออกจากหน่วยประมวลผลหลัก

ซีพียู SiFive X280 มีส่วนขยายชุดคำสั่งแบบเวกเตอร์ และรองรับการรวมรีจิสเตอร์เวกเตอร์เข้าด้วยกัน (รีจิสเตอร์ 512-bit x 32 ตัว) เพื่อให้ได้เวกเตอร์ยาวขึ้น (สูงสุดเป็น 4096 บิต) รวมถึงมีชุดคำสั่งคัสตอมสำหรับงาน AI/ML โดยเฉพาะด้วย จึงช่วยให้งานประมวลผล AI/ML มีประสิทธิภาพดีขึ้น

Tags:
Node Thumbnail

การวัดประสิทธิภาพการฝึกโมเดลปัญญาประดิษฐ์ MLPerf ประกาศผลรอบใหม่ ทำให้ผู้ผลิตรายหลักๆ ก็ออกมาเคลมชัยชนะในมุมของตัวเองกัน

Google Cloud นั้นส่งผลทดสอบของ TPU v4 เข้าร่วม และโชว์ว่าแรงกว่าเซิร์ฟเวอร์ "ที่หาซื้อได้" (available on-prem) อย่างชัดเจน โดยเครื่องที่ Google Cloud ส่งผลทดสอบนั้นสามารถเปิดใช้งานได้จริงผ่านบริการ ML hub

Tags:
Node Thumbnail

Google Cloud ประกาศบริการ Cloud TPU VMs เข้าสถานะเสถียร general availability (GA)

กูเกิลมีหน่วยประมวลผล TPU (Tensor Processing Unit) ที่ออกแบบเองสำหรับเร่งความเร็ว AI มาตั้งแต่ปี 2017 และเปิดให้คนทั่วไปเช่ารัน-เทรนโมเดล machine learning ผ่าน Google Cloud มาตั้งแต่ปี 2018 ในชื่อบริการ Cloud TPU

แต่ที่ผ่านมา การเช่า TPU ยังเป็นการเช่า VM บนเครื่องอื่นแล้วรีโมทเข้าไปเรียก TPU ผ่านโปรโตคอล gRPC เท่านั้น ผู้ใช้ไม่สามารถเข้าถึงเครื่อง TPU โดยตรงได้ (ดูภาพประกอบ)

Tags:
Node Thumbnail

กูเกิลเปิดตัว Edge TPU ชิปประมวลผลปัญญาประดิษฐ์สำหรับอุปกรณ์ขนาดเล็กมาตั้งแต่กลางปีที่แล้ว โดยบอกว่าจะขายทปลายปี 2018 แต่หลังจากเลยกำหนดมาพักใหญ่ ตอนนี้บอร์ดพัฒนา และตัวเร่งแบบ USB-C ก็วางขายแล้วทั้งคู่ ในแบรนด์ Coral

ตัว Coral Dev Board ใช้ชิป NXP i.MX 8M ภายในเป็น Cortex-A53 สี่คอร์ และไมโครคอนโทรลเลอร์ Cortex-M4F แรม 1GB และหน่วยความจำ eMMC 8GB รองรับ Wi-Fi 802.11ac และ Bluetooth 4.1 พอร์ตแลนกิกะบิต, USB-C, USB-A 3.0, และ micro USB สำหรับคอนโซล ต่อจอภาพด้วย HDMI 2.0a, MIPI-DSI 24 pin, และต่อกล้องด้วย MIPI-CSI2 และชิป Edge TPU ราคา 149.99 ดอลลาร์

Tags:
Node Thumbnail

เฟซบุ๊กเปิดตัว PyTorch 1.0 ตั้งแต่เดือนพฤษภาคมที่ผ่านมา โดยตอนนี้ก็ยังเป็นเพียงรุ่นพรีวิวอยู่ อย่างไรก็ตามที่งาน PyTorch Developer Conference เมื่อวานนี้ก็มีการประกาศความก้าวหน้าของโครงการเพิ่มเติม

ฟีเจอร์ที่เพิ่มมาคือการทำงานในโหมด eager ที่ช่วยให้นักพัฒนาสามารถทดลองกับกราฟประมวลผลได้ง่ายขึ้น และมีการปรับปรุงไลบรารี torch.distributed โดยตอนนี้รองรับทั้ง Python และ C++

Tags:
Node Thumbnail

กูเกิลเปิดตัวชิป Edge TPU สำหรับการพัฒนาปัญญาประดิษฐ์ในอุปกรณ์ IoT ขนาดเล็กเช่นกล้องวงจรปิด สำหรับการตรวจจับการจราจรโดยไม่ต้องส่งภาพกลับไปยังศูนย์กลาง

สำหรับฝั่งซอฟต์แวร์ Cloud IoT Edge เป็นชุดซอฟต์แวร์ที่สามารถรันได้บน Android Things หรือลินุกซ์อื่นๆ โดยมันมาพร้อมกับ Edge ML รันไทม์สำหรับรัน TensorFlow Lite มันสามารถรันบนซีพียู หรือเร่งความเร็วด้วยกราฟิกหรือ TPU ก็ได้

ตัวชิปจะมาพร้อมกับบอร์ดจาก NXP ให้สั่งได้ภายในเดือนตุลาคมนี้

ที่มา - Google Blog

Tags:
Node Thumbnail

เก็บตกประกาศข่าวจากงาน Google I/O 2018 กูเกิลเปิดตัวหน่วยประมวลผล Tensor Processing Unit (TPU) รุ่นที่สาม รุ่นอัพเกรดจาก TPU v2 ที่เปิดตัวในช่วงเดือนนี้ของปีที่แล้ว

TPU v3 มีสมรรถนะดีขึ้นกว่า v2 ถึง 8 เท่า และ TPU หนึ่งชุด (64 ตัวเรียกเป็น 1 pod) มีพลังประมวลผลถึง 100 petaFLOPS เพิ่มขึ้นจาก 1 pod ของ TPU v2 ที่ทำได้เพียง 11.5 petaFLOPS tops

อีกประเด็นที่น่าสนใจคือ TPU v3 ใช้ระบบระบายความร้อนด้วยของเหลวด้วย ซึ่งเป็นครั้งแรกที่กูเกิลนำระบบแบบนี้มาใช้งานกับ TPU

Tags:
Node Thumbnail

เมื่อกลางปีที่แล้ว กูเกิลเปิดตัว TPU (Tensor Processing Unit) ชิปสำหรับประมวลผล deep learning รุ่นที่สอง พร้อมจับขึ้นคลาวด์เพื่อให้คนทั่วไปใช้งาน โดยช่วงแรกยังจำกัดเฉพาะนักวิจัยเท่านั้น

เวลาผ่านมาเกือบปี Cloud TPU เปิดบริการรุ่นเบต้าบน Google Cloud Platform (GCP) สักที คนทั่วไปสามารถนำงานด้าน machine learning มาเทรนโมเดลบน Cloud TPU เพื่อเร่งความเร็วให้ได้มากขึ้น (Cloud TPU หนึ่งตัวมีสมรรถนะสูงสุด 180 tflops และแรม 64GB)

Tags:
Node Thumbnail

กูเกิลเปิดตัว TPU (Tensor Processing Unit) ชิปสำหรับประมวลผล deep learning รุ่นที่สอง พัฒนาจากรุ่นแรกที่ใช้เพื่อการคำนวณผลลัพธ์จากเครือข่ายนิวรอนเป็นหลัก รุ่นใหม่นี้จะมีความสามารถในการฝึกเครือข่ายนิวรอน (inference) ได้ด้วย พร้อมกับเปิดบริการ Cloud TPU รุ่น Alpha (ต้องขอเข้าร่วมทดสอบ)

TPU แต่ละชุดจะมีพลังประมวลผล 180 TFLOPS กูเกิลออกแบบระบบเป็นตู้ (pod) แต่ละตู้มี TPU 64 ชุด รวมพลังประมวลผล 11.5 PFLOPS โค้ด TensorFlow สามารถรันบนเซิร์ฟเวอร์ได้โดยเปลี่ยนโค้ดเล็กน้อย

Tags:
Node Thumbnail

กูเกิลเคยเปิดเผยว่าระบบปัญญาประดิษฐ์ของตัวเองนั้นแม้จะรันด้วย TensorFlow ที่เป็นซอฟต์แวร์โอเพนซอร์ส แต่เบื้องหลังนั้นใข้ชิป Tensor Processing Unit (TPU) โดยระบุว่าการทำชิปด้วยตัวเองคุ้มค่ากว่า แต่ไม่มีรายละเอียดใดเพิ่มเติม ตอนนี้กูเกิลก็ปล่อยรายงานการศึกษาว่าการใช้ TPU นั้นคุ้มค่ากว่าจริงๆ

ภายใน TPU นั้นมีส่วนประกอบหลักคือบัฟเฟอร์กินพื้นที่ 29% ของตัวชิป และวงจรคูณแมทริกซ์กินพื้นที่ 24% ของตัวชิป สามารถคูณแมทริกซ์ได้ขนาด 256x256 นอกจากนี้ยังมีวงจรเฉพาะสำหรับการประมวลผลที่เกี่ยวข้อง เช่น Activation, Normalize/Pool ส่วนที่เหลือคือวงจรเชื่อมต่อภายนอกเช่น PCIe 3.0 x16, วงจรควบคุม DDR3 และวงจรควบคุมการทำงาน

Tags:
Node Thumbnail

ข่าวน่าสนใจที่กูเกิลแถลงในงาน Google I/O เมื่อวานนี้คือ "หน่วยประมวลผล" ที่บริษัทออกแบบเองเพื่องานด้าน machine learning โดยกูเกิลเรียกมันว่า Tensor Processing Unit (TPU) (ตั้งให้ล้อกับชื่อซอฟต์แวร์ TensorFlow)

TPU เป็นแผงวงจรเฉพาะด้าน application-specific integrated circuit (ASIC) ที่กูเกิลออกแบบขึ้นเอง ขนาดบอร์ด TPU ที่กูเกิลออกแบบ มีขนาดเล็กกว่าสล็อตเสียบฮาร์ดดิสก์ในแร็คปกติ