OpenAI เขียนบล็อกอธิบายเพิ่มเติมเหตุการณ์ปล่อยอัพเดตโมเดลเวอร์ชั่นช่างประจบ พร้อมกับวิเคราะห์ถึงความผิดพลาดในการทดสอบที่ทำให้ปล่อยโมเดลเวอร์ชั่นนี้ออกมา

โดยปกติแล้วโมเดลของ OpenAI จะถูกฝึกด้วยระบบ reinforcement learning โดยมีระบบให้คะแนนคำตอบคุณภาพสูง ระบบให้คะแนนคิดคะแนนจากคำตอบที่ถูกต้อง, อ่านแล้วได้ประโยชน์, ปลอดภัย หลังจากฝึกแล้ว โมเดลจะถูกตรวจสอบหลายขั้น นับแต่การวัดประสิทธิภาพจากชุดทดสอบต่างๆ, การตรวจสอบโดยผู้เชี่ยวชาญ, การประเมินความปลอดภัย, และการทดสอบวงจำกัด

OpenAI ประกาศถอดอัพเดต GPT-4o เวอร์ชั่นล่าสุดออกจาก ChatGPT หลังพบว่าโมเดลมีลักษณะช่างประจบเกินเหตุ หรือเรียกว่า sycophantic

ทาง OpenAI ทดสอบโมเดลเวอร์ชั่นใหม่เรื่อยๆ โดยสังเกตผลตอบรับจากการกด 👍 และ 👎 โดยเมื่อสังเกตุผลตอบรับที่ดีขึ้นก็นำโมเดลไปใช้งาน แต่ภายหลังพบว่าโมเดลรุ่นทดสอบนี้มีลักษณะประจบประแจงเอาใจแต่กลับไม่จริงใจกับผู้ใช้

โมเดลหลังจากนี้จะถูกฝึกให้ลดการประจบประแจงเอาใจ และเพิ่มระบบ guardrails ให้แสดงความจริงใจมากขึ้น พร้อมกับรับความเห็นจากผู้ใช้ให้มากขึ้นระหว่างทดสอบ

ที่มา - OpenAI