OpenAI เพิ่มโหมดการประมวลผลแบบ flex processing เป็นตัวเลือกตรงกลางระหว่างการเรียก API ตามปกติ และการสั่งงานแบบ batch processing ที่อาจจะต้องรอนานถึง 24 ชั่วโมง แถมยังใช้ API เหมือนการเรียก Chat Completions API และ Responses API ตามปกติ

เมื่อเราเรียก flex processing จะสามารถกำหนดช่วงเวลารอคอยเพิ่มเติม หรือหากไม่กำหนดจะระบุไว้ที่ 10 นาที การเชื่อมต่อจะเชื่อมต่อรอการประมวลผลเสร็จ ทำให้การใช้งานจริงแก้โค้ดจากการเรียก API เดิมๆ เพียงเล็กน้อยเท่านั้น แต่หากทาง OpenAI ไม่มีเซิร์ฟเวอร์ว่างภายในเวลาที่กำหนดก็จะได้ 429 Resource Unavailable มาแทน

ข้อดีสำคัญของ flex processing คือราคาถูกลงครึ่งหนึ่ง เหมือน batch processing ทำให้งานหลายส่วนที่ไม่ต้องการการตอบสนองทันทีสามารถประหยัดไปได้ ตอนนี้ยังเปิดให้ใช้เฉพาะโมเดล o3 และ o4-mini เท่านั้น

ที่มา - OpenAI