2 ประเด็นครับ

1.. จริงต้องบอกว่าการทำ Pre-train โมเมลการแพทย์โดยตรง) เป็นไปได้ยากมาก เพราะการทำ Pre-train ตัว LLMs จาก 0 นั้นต้องใช้ข้อมูลมหาศาลมาก ซึ่งถ้าจะ Specific ไปแค่การแพทย์ ยังไงข้อมูลก็ไม่พอ ถ้าไปบีบด้วยข้อมูลน้อยๆก็จะได้โมเดลโง่ๆออกมาแทน ส่วนใหญ่จึงเน้นทำ Fine-tune แล้วเอาไปต่อ Rag บวกกับทำ Self-reflect เพื่อเช็คข้อมูล
2. และถึงแม้สมมุติว่าต่อให้ทำ Pre-train เพื่อให้ได้โมเดลเฉพาะการแพทย์โดยตรงได้ (ซึ่งอยากที่บอกว่าเป็นไปไม่ได้) สุดท้าย คำตอบก็มั่วได้อยู่ดีครับ

ดังนั้น การเทรนด์โมเดลใหม่จาก 0 เพื่อทำงานสุขภาพโดยตรง ในทางปฏิบัตินั้นเป็นไปไม่ได้ครับ ถึงเป็นไปได้ก็ไม่มีบริษัทเทคไหนทำแน่นอน แม้แต่รพ.เองก็ไม่มีใครทำ

เลยเป็นเหตุผลว่าทำไม OpenAI จึงต้องมาทำดีลแบบนี้ และเอาจริงๆทำดีลแบบนี้คุ้มมากๆนะครับ เป็นดีลที่ฉลาดมากๆ เพราะได้ข้อมูลการแพทย์ที่หายากมากนะครับ บริษัทเทคทั่วไปคงไม่มีข้อมูลอะไรแบบนี้

จริง ๆ ถ้าทำ Incontext learning พอจะช่วยได้นะครับ ถ้าโมเดลมี knowledge มากพอ แล้วเอา rag มาประกอบด้วย น่าจะดีพอครับ