กูเกิลเพิ่มฟีเจอร์ Implicit Caching ให้กับลูกค้าที่ซื้อ Gemini ใช้งานผ่าน API โดยหลังจากนี้ไม่จำเป็นต้องระบุให้กูเกิลเก็บแคชไว้เอง

แนวทางการทำ caching ใน LLM นั้นอาศัยแนวทางการใช้งานที่หลายครั้งผู้ใช้มักเริ่มต้นบทสนทนากับปัญญาประดิษฐ์เหมือนๆ กัน เช่น การใส่ system prompt หรือการคุยกับเอกสารชุดเดิมๆ แต่เปลี่ยนคำถามใหม่ทำให้มีข้อความเดิมๆ ไปทุกครั้ง ผู้ให้บริการ LLM นั้นสามารถเก็บสถานะที่ประมวลผลข้อความเริ่มต้นแล้วเอาไว้ ทำให้สามารถตอบคำถามต่อไปได้ทันที ก่อนหน้านี้กูเกิลรองรับการทำ caching อยู่แล้ว แต่ผู้ใช้ต้องประกาศใช้งานเอง และเสียค่าสตอเรจเก็บแคช

ฟีเจอร์ใหม่นี้ทำให้ผู้ใช้ที่เรียกใช้ Gemini ด้วยข้อความเริ่มต้นซ้ำๆ ประหยัดค่าอินพุตไป 75% แต่เนื่องจากไม่มีการประกาศระยะเวลาใช้งานแคช กูเกิลก็ไม่รับประกันว่าจะเก็บแคชให้ผู้ใช้นานแค่ไหน แต่ถ้าใครได้แคชก็จะเห็นค่า cached_content_token_count ส่งกลับมาเอง

ฟีเจอร์แคชอัตโนมัติเป็นฟีเจอร์หนึ่งที่ DeepSeek โชว์มานาน โดยระบุว่ามีเทคโนโลยีการแคช์บนดิสก์ทำให้สามารถแคชข้อมูลได้จำนวนมากโดยผู้ใช้ไม่ต้องประกาศขอใช้งาน และแคชก็อยู่บนระบบของ DeepSeek นานหลายชั่วโมง

ที่มา - Google Developers Blog