Cloudflare เปิดเผยว่า Perplexity ได้ใช้เทคนิคการดูดข้อมูลเนื้อหาจากเว็บไซต์แบบลับซึ่งเรียกว่าวิธี stealth crawling ด้วยการสร้าง agent ที่ปลอมตัวเป็นเบราว์เซอร์ทั่วไป ใช้ IP และ ASN ต้นทางที่ทำให้ตรวจจับการบล็อกบอต AI ไม่ได้ ทั้งนี้ Perplexity ไม่ได้ใช้วิธีการนี้ทั้งหมดในการดูดเนื้อหาเว็บไซต์ โดยยังใช้บอตทางการ PerplexityBot และ Perplexity-User ทำการดูดเนื้อหาควบคู่กันไป แต่บอตทางการจะไม่สามารถเข้าถึงเว็บไซต์ที่กำหนดค่าไว้ใน robots.txt เลยต้องใช้วิธีอื่นมาเสริม ซึ่ง Cloudflare มองว่าเป็นการละเมิดแนวทางความโปร่งใสการทำงานบนอินเทอร์เน็ต

ถึงตรงนี้อาจสงสัยว่าแล้ว Cloudflare รู้ได้อย่างไรว่าบอตอำพรางนี้มาจาก Perplexity? วิธีทดสอบคือ Cloudflare ได้สร้างโดเมนไว้หลายอันที่ไม่เปิดเผยต่อสาธารณะ ตั้งค่าไฟล์ robots.txt ห้ามบอตทุกชนิดเข้ามาดูดเนื้อหา จากนั้นจึงทดสอบ AI ทุกค่ายว่าสามารถเข้าถึงเนื้อหาเว็บไซต์เหล่านี้ได้หรือไม่ พบว่ามี Perplexity AI เพียงรายเดียวที่ให้ข้อมูลได้ถูกต้องทั้งหมด จึงยืนยันได้ว่า Perplexity มีวิธีอื่นที่ไม่ระบุตัวตนในการเข้าถึงเว็บไซต์นั่นเอง

Cloudflare ยังเทียบพฤติกรรมนี้กับ OpenAI โดยบอกว่า OpenAI มีกระบวนการเปิดเผยตัวตนของบอตที่โปร่งใส และไม่ดูดเนื้อหาจากเว็บไซต์ที่กำหนดไว้ในระดับ robots.txt ซึ่งมีความรับผิดชอบ

Cloudflare บอกว่าเมื่อเกิดเหตุการณ์เช่นนี้ ระบบจัดการบอตดูดเนื้อหา AI ของบริษัท จึงได้เพิ่มความสามารถป้องกันบอตลับของ Perplexity เพิ่มเติมให้ลูกค้าทุกคนในการควบคุมการเข้าถึงเนื้อหา รวมทั้งลูกค้าแบบฟรีด้วย

ที่มา: Cloudflare