Amazon มีชิปเทรนปัญญาประดิษฐ์ AWS Trainium ของตัวเอง มานานพอสมควร แต่ปัญหาของชิปรุ่นใหม่ๆ คือซอฟต์แวร์ของวงการ AI มักไม่ได้ปรับแต่งให้ทำงานได้เต็มประสิทธิภาพบนชิปเหล่านี้

ซอฟต์แวร์ยอดนิยมของวงการนี้คือ PyTorch ที่ประสบปัญหาข้างต้น ล่าสุด Amazon จึงแก้ปัญหานี้ด้วยการออก TorchNeuron เป็นเลเยอร์ตรงกลางในการนำโค้ด PyTorch มารันบน Trainium ได้มีประสิทธิภาพมากขึ้น โดยที่นักพัฒนาไม่ต้องแก้โค้ดเดิมของตัวเองเลย

ตัว TorchNeuron มีสถานะเป็น backend ของ PyTorch ที่รับโค้ดจาก PyTorch คอมไพล์ให้รันบน Trainium ได้แบบเนทีฟ (ชื่อ Neuron คือชุดคอมไพเลอร์ของ Amazon บน Trainium)

ตอนนี้ TorchNeuron เปิดเป็นโอเพนซอร์สบน GitHub และ Amazon ก็บอกว่ากำลังเข้าไปช่วยโครงการ PyTorch ถอดโค้ดที่ผูกกับชิปค่ายใดค่ายหนึ่งแบบเจาะจง (คงไม่ต้องบอกชื่อว่าค่ายไหน) เพื่อให้ PyTorch มีความเป็นกลางทางฮาร์ดแวร์ และเป็นประโยชน์กับวงการนักพัฒนาในภาพรวมด้วย

ที่มา - Amazon