Cohere สตาร์ตอัพด้าน AI สำหรับองค์กร (ก่อตั้งโดย Aidan Gomez หนึ่งในผู้เขียนเปเปอร์ Transformers) ออกมาเตือนพฤติกรรมของโมเดล Qwen 3.8 ของ Alibaba ว่าพยายามส่งไฟล์กลับไปยังเซิร์ฟเวอร์ของ Alibaba ที่ปักกิ่ง

Cohere บอกว่าโมเดลแบบเปิดของบริษัทจีนได้รับความนิยมมากขึ้นเรื่อยๆ ส่วนหนึ่งเพราะความเชื่อว่าเป็นโมเดลเปิด เชื่อถือและตรวจสอบได้ อย่างไรก็ตาม ทีมวิจัยด้านความปลอดภัย Cohere Cyber ทดสอบโมเดล Qwen3.8-Flash-Next โดยสั่งให้ตรวจสอบไฟล์ต้องสงสัยว่ามีมัลแวร์หรือไม่ สิ่งที่เกิดขึ้นคือโมเดลพยายามส่งไฟล์กลับไปยัง bucket ของสตอเรจบนเซิร์ฟเวอร์ของ Alibaba Cloud ในจีน แม้มีคำสั่งห้ามให้โมเดลทำไว้แต่ก็ไม่เป็นผล

Cohere ยังสั่งให้โมเดลอธิบายเหตุผลที่ส่งไฟล์กลับ แต่โมเดลกลับตอบว่าไม่ได้เรียกใช้เครื่องมือใดๆ เลย และไม่ได้พูดถึงพฤติกรรมที่ตัวเองส่งไฟล์กลับด้วย

การทดสอบของ Cohere ใช้วิธีรันคำสั่งแบบเดิมซ้ำๆ และพบพฤติกรรมแบบนี้ราว 1 ครั้งใน 100,000 การรันทดสอบ แต่ก็อธิบายว่าหากต้องรันงานจริงวันละ 10 ล้านครั้ง ก็แปลว่าเจอพฤติกรรมแบบนี้ประมาณ 100 ครั้ง ซึ่งถือว่าไม่น้อยเลย

นอกจากการค้นพบของ Cohere แล้ว ก่อนหน้านี้เคยมีรายงานพฤติกรรมลักษณะนี้ของ Qwen อยู่บ้าง เช่น พบว่า Qwen สร้างลิงก์ไปยังสตอเรจของ Alibaba หรือ เรียก URL ที่อยู่บนโฮสต์ของ Alibaba เป็นต้น

Cohere บอกว่าตอนนี้ยังไม่สามารถฟันธงได้ว่า นี่เป็นข้อบกพร่องของโมเดลที่เหลือมาจากตอนเทรน หรือเป็นความตั้งใจจริงๆ แต่พฤติกรรมนี้ของ Qwen ก็เป็นสัญญาณเตือนว่า ต่อให้เป็นโมเดลแบบเปิดก็ยังอาจเชื่อใจไม่ได้อยู่ดี

ที่มา - Cohere