เมื่อคืนที่ผ่านมา OpenAI เปิดตัว GPT-4o พร้อมกับประกาศเปลี่ยน tokenizer ใหม่โดยอาศัย 20 ภาษาต้นแบบในการบีบอัดข้อมูล ทำให้ภาษาต่างๆ ประหยัดโทเค็นยิ่งขึ้น แม้ภาษาไทยจะไม่อยู่ในรายชื่อ 20 ภาษา แต่ผลการทดลองก็พบว่าภาษาไทยนั้นประหยัดโทเค็นลงเท่าตัว

tokenizer ของ GPT-4o สามารถจับคำหรือส่วนของคำในภาษาไทยได้ชัดเจน คำสามัญเช่น "ของ" หรือ "จำนวน" ก็สามารถมองเป็นโทเค็นเดียวได้ทันที เทียบกับ tokenizer ของ GPT-4 ที่ไม่สามารถรวบตัวอักษรหลายตัวในภาษาไทยเข้าด้วยกันได้เลย ทำให้จำนวนโทเค็นกับจำนวนตัวอักษรใกล้เคียงกัน

update: เวอร์ชั่นแรกขอข่าวนี้พาดหัวว่ายังไม่รองรับภาษาไทย แต่เมื่อทดสอบแล้วจำนวนโทเค็นในภาษาไทยลดลงกว่าเท่าตัว

ในงานเปิดตัว GPT-4o ของ OpenAI นอกจากประเด็นโมเดลมีประสิทธิภาพสูงขึ้นแล้ว ยังมีประเด็นการออปติไมซ์ tokenizer เพื่อให้ใช้งานภาษาอื่นๆ นอกจากภาษาอังกฤษได้ดีขึ้น โดยทีมงาน OpenAI เลือกมา 20 ภาษารวมถึงภาษาอังกฤษแต่ยังไม่มีภาษาไทย ทำให้ภาษาเหล่านี้ใช้งานได้มีประสิทธิภาพมากขึ้นเพราะคำในภาษาเหล่านี้มีจำนวนโทเค็นน้อยลง

OpenAI เปิดตัว GPT-4 รุ่นใหม่ในชื่อ GPT-4o (โฟร์-โอ) ความสามารถใกล้เคียง GPT-4 แต่ความเร็วสูงกว่า ขณะที่ยังมีความสามารถรองรับอินพุตหลายแบบ (multimodal) สามารถฟังเสียงและอ่านภาพได้โดยไม่ต้องการโมเดลปัญญาประดิษฐ์ speech-to-text แยก

เนื่องจากประสิทธิภาพ GPT-4o สูงกว่าทำให้ OpenAI สามารถเปิดให้ผู้ใช้ทุกคนใช้งานได้ฟรีโดยมีโควต้ามากขึ้น สำหรับการใช้งานฝั่ง API ราคาของ GPT-4o จะถูกกว่า GPT-4 Turbo ลงครึ่งหนึ่ง ความเร็วโดยรวมเพิ่มขึ้นเท่าตัว และโควต้าการใช้งานเพิ่มขึ้นถึง 5 เท่า