บริการ large language model (LLM) บนคลาวด์รายต่างๆ เปิดทางให้องค์กรสร้างแอปพลิเคชั่นสสำหรับงานเฉพาะทาง เช่น โดยเฉพาะการทำ Retrieval Augmented Generation (RAG) เพื่อสร้างแชตบอตสอบถามข้อมูลเฉพาะทาง ทาง AWS ก็ออกมาแนะนำ 8 ประเด็นที่ต้องระวังด้านความปลอดภัย

แอปแชตที่ AWS ยกตัวอย่างมาประกอบไปด้วย หน้าจอเว็บที่พัฒนาด้วย Streamlit, ตัวแอปพลิเคชั่นหลักพัฒนาด้วย Lambda, ฐานข้อมูล DynamoDB สำหรับการเก็บข้อมูลประวัติการแชตก่อนหน้า, เชื่อมต่อกับ LLM หลักคือ Cluade 3 Sonnet, ดึงข้อมูลเอกสารจาก S3 เข้าไปยัง OpenSearch โดยแปลงข้อความเป็นเวคเตอร์ด้วย Titan Embedding