ที่งาน AWS re:Invent 2018 Amazon ได้เปิดตัวบริการ Amazon Elastic Inference ที่ทำให้สามารถเพิ่ม GPU ไปยังเครื่อง EC2 ประเภทใดๆ ก็ได้

เดิมทีการใช้งาน GPU ใน EC2 นั้นจะต้องเลือกใช้เครื่องประเภทที่มี GPU ในตัวเท่านั้น เช่นประเภท P3 ซึ่งบางครั้งผู้ใช้งานอาจจะต้องการใช้เพียงแค่ GPU แต่ไม่ได้ต้องการ CPU หรือ Memory จำนวนมาก โดยเฉพาะงานประเภทหาคำตอบจากโมเดลที่สำเร็จแล้ว (inference) การใช้งานลักษณะนี้จึงสิ้นเปลืองค่าใช้จ่ายมาก

Elastic Inference จะทำให้เราสามารถเพิ่ม ​GPU ไปยังเครื่อง EC2 ประเภทใดๆ ก็ได้ (คล้ายๆ กับของ Google Cloud) หรือต่อกับ SageMaker รองรับการใช้งานผ่านทั้ง TensorFlow และ Apache MXNet

สเปคของ GPU ที่ให้ยังไม่มีระบุว่าเป็นรุ่นใด แต่กำหนดจากความเร็วเป็น TFLOPS แทน

พร้อมกันนี้ Amazon ยังได้เปิดตัวชิพประมวลผล AWS Inferentia สำหรับงาน inference ที่ต้องใช้ GPU ทั้งตัว หรือต้องการ latency ต่ำมาก โดยจะให้เลือกใช้งานได้จาก Amazon Elastic Inference ในอนาคต

ที่มา: AWS Blog