ผมก็ใช้มันก็ปรกตินะ แถมเป็นคำถามที่ปรกติไม่มีคนถามด้วย บางเรื่องนี่ระดับสัปดาห์เลยที่มีเอกสารวิจัยปล่อยออกมา แต่ผมใช้ผ่าน Google Search ไม่ได้ใช้ผ่าน AI Studio แล้วอีกอย่างหนึ่งดูเหมือนฝั่ง Google เขาจะให้ Gemini ตอบตามระดับผู้ใช้ด้วย มันจะเหมือน upgrade การตอบตามภาพรวมการถามของเรา พอถึงจุดหนึ่ง คำตอบก็จะตอบซับซ้อนกว่า และลงรายละเอียดถึงระดับสถาปัตยกรรมให้ด้วย ซึ่งของผมจะเป็นอย่างนั้นซะส่วนใหญ่ เพราะมันรู้ว่าผมมองเป็นภาพรวม ไม่ได้มองที่ Code เพียงแต่ถ้าใช้ ผ่าน Google Search มันจะหลุดบ่อย หากเราเว้นช่วงการถามไว้นานๆ ซึ่งผมก็เข้าใจได้ หรือบางทีเป็นเรื่องที่ใหม่มากๆ ยังไม่มีใน RAG มันก็จะใช้เวลาหน่อย รอบแรกมันจะปล่อย รายการที่ค้นหาเจอมาให้แสดงว่ายังไม่เสร็จ แต่ด้วย style google จะแบบนี้แหล่ะ ต้องถามซ้ำอีก 1-2 รอบ คำตอบก็จะมาเอง

อาจสงสัยว่าผมรู้ยังไงว่า Gemini ตอบตามระดับผู้ใช้ มันมีอยู่ครั้งหนึ่ง ที่ Gemini ตอบกลับมาในจังหวะอยู่ในโหมดของ Search ว่า ผมโดนกำหนดให้ตอบคำถามใน session แรก ไม่ให้ส่งโค๊ดสำเร็จรูปไปให้ นั่นหมายถึงว่า เขาต้องการให้ Gemini ตอบในเชิงทฤษฎีเพื่อประเมินระดับผู้ใช้ก่อน ถ้าคนที่จะลงลึกมันจะมีโครงสร้างการถามที่มีรูปแบบเฉพาะตัว คือ ถามจากภาพรวม แล้วเจาะไปที่รายละเอียด อย่างนี้มันบอกหมดที่คุณอยากรู้เลยล่ะ

อ่อ อีกอย่างหนึ่งผมไม่ได้ถามเพื่อหา source code ด้วยมั้ง ผมถามในเชิงสถาปัตยกรรมเพื่อทำความเข้าใจ แล้วจุดไหนที่ผมสนใจ ผมก็จะเจาะเฉพาะเรื่องเพื่อขอดู code เพื่อทำความเข้าใจในเชิงการเขียนโปรแกรม ถ้าใช่ผมก็จะ copy ไปทดสอบอีกทีก่อนประกอบเข้าตัว Project ลักษณะของ AI ที่ทำงานกับ RAG คุณต้อง Scope ปัญหา แล้วค่อยๆ เจาะลงไปในรายละเอียด มันจะช่วยให้ AI ทำงานได้แม่นยำขึ้น กว่าโยนปัญหาเป็นชิ้นใหญ่ๆ ลงไป ที่เผมเคยเขียน code กับ RAG หากคุณโยนปัญหาก้อนใหญ่ลงไปเลย บางทีมันทำงานจนหลุดไปเองเลยก็มี แต่ถ้าคุณย่อยปัญหาให้เล็กลง แล้วเจาะลงไป มันจะทำงานที่แม่นยำและเสถียรมากยิ่งขึ้น

สรุปคือ อาจเป็นรูปแบบคำถามที่เราสองคนใช้ต่างกันนั่นแหล่ะ ผมว่าน่าประมาณนั้น ผมชินกับ Gemini เพราะรู้ว่า Gemini มัน track ผมอยู่ตลอดเวลา มันจะรู้พฤติกรรมของผมทำให้ผมทำงานง่ายขึ้นกว่าใช้ตัวอื่น ก็เลยไม่ค่อยเจอปัญหาอะไร ที่เป็นเรื่องความไม่ถูกต้องของข้อมูล ที่เจอส่วนใหญ๋จะเป็นเรื่อง bug จุกจิกกวนใน เช่น copy code ไม่ได้, ประมาลผลแล้วเงียบหายไปเลย, ถ้ายังไม่มีข้อมูลจะใช้เวลานานนิดนึงเพื่อทำ RAG ฯลฯ จะประมาณนี้ มากกว่าจะมีข้อมูลเพี้ยนไปจนใช้งานไม่ได้

อ่อ อีกอย่างหนึ่ง Gemini มันขี้เกียจ ถ้ามันผิด คุณต้องพิมพ์ด่ามัน แล้วให้มันทำจนกว่าคุณจะได้ที่คุณต้องการ เพราะไม่งั้นมันจะเลือกเส้นทางที่สั้นที่สุดในการหาคำตอบให้คุณ ซึ่งมีโอกาสหลอนสูง

อ่อ อีกอย่างหนึ่งคุณตั้งค่าหรือยังหากใช้ AI Studio ผมจำไม่ได้แล้วว่าตัวแปรชื่ออะไร ผมจะตั้งไว้ทุกครั้งที่ถาม ค่านี้ถ้าเข้าใกล้ 0 มันจะตอบโดยไม่คิดเองเออเอง เลยจะตอบเฉพาะที่มันเจอและมีการอ้างอิงเท่านั้น Gemini มันใช้คำว่าค่าความคิดสร้างสรรค์ แต่ผมจำภาษาอังกฤษไม่ได้ ค่า default มันจะตั้งไว้สูงพอสมควร หากคุณต้องการคำตอบที่ไม่ให้มันคิดเอง เออเองจะต้องตั้งค่าให้เข้าใกล้ 0

น่าจะค่านี้นะ temperature=0 เท่าที่ผมจำได้ค่า default ของ AI Studio จะเข้าใกล้ 1.0 แต่หากคุณต้องการให้มันตอบโดยไม่ต้องใส่ความคิดสร้างสรรค์ลงไป ให้ตอบตรงตามที่เจอใน RAG คุณจะต้องกำหนดค่าใกล้ 0 ส่วนการกำหนด = 0 หมายถึง เป็นกฎเกณฑ์ขององค์กร ที่ใช้อ้างอิงที่ห้ามให้มันดัดแปลงเลย แต่ผมไม่รู้นะจะมีผลต่อ source code ที่ออกมาแค่ไหน เพราะผมเจาะจงเป็นเรื่องๆ ลงไปเรื่อย ไม่ได้ถามเป็นก้อนใหญ่ทีเดียว

อีกอย่างหนึ่งที่ผมจะทำเป็นประจำ คือ การตั้ง context windows ของ AI โดยกำหนดบทบาทให้มัน ก่อนการสนทนา เช่น คุณเป็น Software Architecture ผู้เชี่ยวชาญ ให้ตอบเฉพาะเนื้อหา อย่าคิดเอง ให้เอาเนื้อหามาเรียบเรียงให้อ่านง่ายเท่านั้น ฯลฯ ... คือ ตั้งกรอบในการตอบคำถามให้มันตั้งแต่ต้น ก็จะช่วยได้เหมือนกัน หรือถ้าเป็นกรณีของคุณก็อาจบอกมันว่าคุณคือ Senior Programmer ผู้เชี่ยวชาญในภาษา ... ก็ว่าไป

ส่วนที่ผมบอกว่าเส้นทางที่สั้นที่สุด ไม่ได้หมายถึงมันจะมั่วนะ แต่หมายถึง มันจะอ้างอิงข้อมูลใน RAG ที่มีการปรับแต่ง และ tune parameter ซึ่งจะทำให้มันตอบคำถามได้เร็ว และไม่เปลือง token แต่ข้อเสียคือ บางทีข้อมูลมันเก่า ใช้ซอฟต์แวร์เวอร์ชั่นเดิม ทำให้ code ที่ออกมาพอเอาไปเข้า debug มัน error แต่ถ้าคุณค่อยๆ เจาะเข้าไป ตอบผิด ก็ให้มันตอบใหม่ มันก็จะขยับมาใช้ RAG ที่มีข้อมูลใหม่ขึ้น ในทาง Data mining เขาเรียกวิธีแบบ Time series มั้ง แต่ข้อมูลใหม่ก็มักจะต้องใช้เส้นทาง และเวลาทียาวกว่า เพราะยังไม่ผ่านการ tuning แต่คุณก็เรียกดูได้จากวิธีที่ผมบอกไว้ คือ ด่ามันก่อน แล้วให้มันแก้ไขใหม่ มันจะแก้ตัว ขอโทษ แล้วก็จะปรับโค๊ดไปเรื่อยๆ แล้วคุณก็จะเห็นพัฒนาการของ code เอง