Tags:
Topics: 
Node Thumbnail

มีงานวิจัยที่ตีพิมพ์บน medRxiv ชี้ว่า ChatGPT สามารถสอบผ่านใบประกอบวิชาชีพแพทย์ของสหรัฐ (U.S. Medical Licensing Examination - USMLE) โดย USMLE จะมี 3 ชุดทดสอบย่อย ความแม่นยำในการวินิจฉัย เฉลี่ยอยู่ที่มากกว่า 50% และในหลายๆ การวินิจฉัยก็แม่นยำถึง 60% ด้วย

ทีมวิจัยเผยว่าในแต่ละปี ระดับคะแนนในแต่ละปีที่ถือว่าผ่านจะไม่เท่ากัน แต่เฉลี่ยอยู่ที่ราวๆ 60% และคำวินิจฉัยค่อนข้างมีความเข้าใจและมีคำอธิบายที่สอดคล้องเป็นเหตุเป็นผล (a high level of concordance and insight in its explanations) ซึ่งก็ถือว่า ChatGPT ผ่านหรือเกือบผ่านการสอบใบประกอบวิชาชีพแพทย์ โดยที่ไม่มีการเทรนด์หรือ reinforce เพิ่มใดๆ

ที่มา - medxriv.org via Med Page Today

No Description

Get latest news from Blognone

Comments

By: panurat2000
ContributorSymbianUbuntuIn Love
on 23 January 2023 - 23:07 #1275448
panurat2000's picture

โดยที่ไม่มีการเทรนด์หรือ reinforce เพิ่มใดๆ

เทรนด์ ?

By: thearm on 24 January 2023 - 08:29 #1275461
thearm's picture

คุณหมอ AI

By: blackdoor on 24 January 2023 - 12:49 #1275477
blackdoor's picture

สงสัยว่า งานวิจัยแบบนี้ทำไปแล้วได้อะไร เพราะถ้าแค่ chatGPT วินิจฉัยผิด หรือให้คำแนะนำผิด ๆ แม้แต่ข้อเดียว ก็ไม่สมควรผ่านเป็นหมอแล้ว

By: langisser
In Love
on 24 January 2023 - 13:49 #1275491 Reply to:1275477

เพื่อแสดงให้เห็นถึงความสามารถปัจจุบันครับ และเป็นความรู้ต่อไปให้คนอื่น เมื่อมีคนเห็น ก็อาจจะมีคนสนใจและนำไปศึกษาต่อยอดครับ เช่น กรณีนี้ก็เห็นแล้วว่ามีความสามารถมาก อาจจะพัฒนาต่อและ/ถ้าวินิจฉัยโรคทั่วไปที่ไม่รุนแรงก็อาจจะใช้ได้บางโรคแล้วก็ได้

จริงๆมันก็หลายงานวิจัยที่ทำมาและไม่มีคนสนใจและไม่มีเอาต่อยอดเหมือนกันนะ
หรือบางงานวิจัยที่”ถ้าเรารู้ว่ามีวิจัยแบบนี้อยู่แล้ว เราก็คงไม่ต้องเสียเวลา”

By: blackdoor on 24 January 2023 - 13:59 #1275492 Reply to:1275491
blackdoor's picture

เอาจริง ๆ common sense ก็รู้อยู่แล้วว่ามันไม่ชัวร์ครับ แต่ก็เข้าใจว่าทำวิจัยเพื่อให้รู้

และถ้าจะบอกว่าเอามา วินิจฉัยโรคทั่วไปที่ไม่รุนแรง ก็จะถามต่อว่ารู้ได้ไงว่ารุนแรงหรือไม่รุนแรง

เช่น ผมปวดหู มันเป็นได้หลายอย่างมาก

ผมมองว่าแทบเป็นไปไม่ได้ที่จะใช้แทนหมอ ยังไงก็ต้องมีผู้เชี่ยวชาญ consult หรือ confirm ผลอีกที

By: hisoft
ContributorWindows PhoneWindows
on 24 January 2023 - 15:06 #1275500 Reply to:1275492
hisoft's picture

AI มันก็ขยับไปเรื่อยๆ ครับ common sense อย่างเดียวมันก็ไม่พอโดยเฉพาะเมื่อ common sense มันไม่ได้ commont ร่วมกันในแต่ละคน

ก็ถือเป็นวางเกณฑ์ไปว่าอนาคตเราจะเทียบได้ยังไงไปเรื่อยๆ ปรับปรุงการเทียบกันไปเรื่อยๆ ด้วย

By: Witna
ContributoriPhoneAndroidWindows
on 24 January 2023 - 15:52 #1275503 Reply to:1275500

ถ้าวินิจัยผิด แล้วเกิดความผิดพลาด
ใครจะรับผิดชอบ ?

คำถามยอดฮิตของ AI ทุกวงการ

By: hisoft
ContributorWindows PhoneWindows
on 24 January 2023 - 18:25 #1275523 Reply to:1275503
hisoft's picture

ก็คนที่เอา AI มาให้บริการครับ ระดับเดียวๆ กับเวลาคุณหมอวินิจฉัยผิดนั่นแล

By: blackdoor on 24 January 2023 - 16:17 #1275506 Reply to:1275500
blackdoor's picture

common sense ผมก็หมายถึงว่าไม่ชัวร์ ก็แปลว่ามีทั้งถูกและไม่ถูก และแน่นอนก็ใช้กับแต่ละคนได้ไม่เหมือนกัน แต่ความหมายของผมคือ ไม่ควรให้ทำแทนหมอ แม้จะไม่ชัวร์แค่เรื่องเดียว

อนาคตผมไม่รู้ แต่ถ้าเอาตอนนี้งานวิจัยแบบนี้ ผมมองว่าไม่มีอะไรประโยชน์อะไรมาก แถมก็มีคนเอาไปตีความว่าเก่งระดับหมอ

By: hisoft
ContributorWindows PhoneWindows
on 24 January 2023 - 18:27 #1275524 Reply to:1275506
hisoft's picture

กับคุณหมอก็ไม่ได้ต่างกันครับ
ผมไม่ได้หมายถึงว่าโอกาสผิดถูกเท่ากันนะ แต่โอกาสผิดเดี๋ยวมันจะลดน้อยลงไปเรื่อยๆ แล้วผมเชื่อว่าสุดท้ายแล้วค่าเฉลี่ยทั้งหมดมันจะสูงขึ้นเรื่อยๆ จนสักวันอาจจะแซงหน้าคุณหมอที่เป็นคนได้

By: pepporony
ContributorAndroid
on 24 January 2023 - 15:40 #1275501 Reply to:1275492

หลักการทำงานของหมอก็เหมือนกับ AI ในกรณีนี้รึเปล่าครับ

หมอก็ต้องใช้ความรู้ที่มี + สิ่งที่ค้นหาเพื่อเอามาประกอบ ใช้ประสบการณ์จากเคสก่อนหน้าในการวินิจฉัย หมอต้องรู้ว่าต้องถามอะไร

อย่างเช่นคุณบอกว่าปวดหู ถ้าบอกแค่นี้หมอก็วินิจฉัยไม่ได้อยู่ดี สิ่งที่หมอทำคือสอบถามอาการเพิ่มเติม (ก็เหมือนเป็น input ให้ AI ในกรณีนี้ที่อ่าน input ที่ให้มาแล้ววินิจฉัยโรค)

เคยดูวิดีโอของหมอมะกัน เค้าจะมี database ที่หมอเอาไว้ค้นหาข้อมูลได้ (เป็น subscription) เพราะหมอก็ไม่ได้รู้ทุกอย่าง หรือข้อมูลบางอย่างก็อาจจะมีการอัพเดทไปแล้วตั้งแต่ตอนที่หมอเรียนมา

ถ้าจำไม่ผิดน่าจะเป็นเว็บนี้ https://www.wolterskluwer.com/en/solutions/uptodate

Founded for and by clinicians 30 years ago, UpToDate empowers professionals with the right evidence and recommendations so they can make the best decisions. Our focus will always be on delivering actionable recommendations when and where they’re needed. As long as clinicians have questions to ask, we’ll be right by your side.

ก็คือมีข้อมูลพร้อม evidence เพื่อช่วยให้หมอตัดสินใจได้ถูก ก็คล้ายๆกับ AI ในกรณีนี้นะครับ

By: blackdoor on 24 January 2023 - 16:22 #1275505 Reply to:1275501
blackdoor's picture

ผมว่าแล้วต้องมีคนพูดเรื่อง input
ผมคิดว่าจะต้องมี input อยู่แล้วนะครับ ถ้าบอกแค่ว่าปวด ? มันก็วินิจฉัยไม่ได้อยู่แล้ว
แต่ประเด็นต่อมาคือ มันมี fact เรื่อง input เยอะ ทั้ง AI เอง และแม้กระทั่งผู้ป่วยกับหมอ

และประเด็นสำคัญที่ผมจะบอกต่อมาหลัง AI ได้รับ input แล้ววินิจฉัยไม่ถูกละ

By: pepporony
ContributorAndroid
on 24 January 2023 - 16:34 #1275509 Reply to:1275505

คือเห็นคุณบอกว่าถ้าวินิจฉัยผิดโรคเดียวก็ไม่ควรเป็นหมอแล้ว แต่หมอเองก็มีวินิจฉัยพลาดอยู่บ่อยไปนี่ครับ? ไม่ว่าจะวินิจฉัยพลาดเพราะสกิลของหมอเอง หรือวินิจฉัยพลาดเพราะข้อมูลที่ได้รับ (คนไข้ไม่บอกอาการทั้งหมด ปิดบังเพราะอับอาย etc)

มันมี fact เรื่อง input เยอะ ทั้ง AI เอง และแม้กระทั่งผู้ป่วยกับหมอ

ตรงนี้ผมไม่เข้าใจครับ

By: blackdoor on 24 January 2023 - 16:48 #1275511 Reply to:1275509
blackdoor's picture

ก็อย่างที่คุณพูดครับ มันมีความหลากหลายที่จะได้ input ที่จะทำให้วินิจฉัยผิดด้วย เช่น คนไข้ไม่บอกอาการทั้งหมด ปิดบังเพราะอับอาย ก็ใช่ หรือเครื่องมือที่ใช้ที่ทำให้ input ไม่ดีพอ เป็นความผิดพลาดของ input เองที่ AI เข้าใจ

เรื่องหมอวินิจฉัยผิดก็เคยได้ยินนะครับ เรื่องนี้ถ้าจะเทียบกับ AI ต้องวัดเป็นสถิติ แต่ตอนนี้ก็ยากที่จะเถียงกัน และแต่ถ้าเอาแค่ AI วินิจฉัยผิด แล้วให้คำแนะนำ ผมใช้ตัวเลือกที่เป็นคนหมอ ดีกว่าครับ

By: pepporony
ContributorAndroid
on 24 January 2023 - 16:53 #1275513 Reply to:1275511

เอาประเด็นประโยชน์ของงานวิจัยนี้ละกันครับ

ผมมองว่าประโยชน์ของงานวิจัยนี้ เพื่อให้รู้ระดับความสามารถของ AI ว่ามันทำได้ระดับไหน และจะต่อยอดต่อไปด้านไหนได้บ้าง

ตัวเจ้าของเองพูดถึงว่าใช้ในการเรียนการสอนหรือช่วยเหลือในด้านการตัดสินใจเวลาวินิจฉัย

These results suggest that large language models may have the potential to assist with medical education, and potentially, clinical decision-making.

ซึ่งผมมองว่าอย่างที่สองมันสามารถเอาไปรวมกับพวก medical database ได้ เวลาหมอหาข้อมูลแทนที่จะมาแค่ข้อมูลเปล่าๆ ก็เพิ่ม potential diagnosis มาหรือแนะนำว่าควรสอบถามข้อมูลเพิ่มเติมด้านไหน แน่นอนสุดท้ายหมอก็ต้องตัดสินใจ เค้าไม่ได้บอกว่าจะมาแทนหมอ ส่วนเรื่องงานวิจัยทำให้คนตีความว่าเก่งเท่าหมอก็คงห้ามยาก

By: pepporony
ContributorAndroid
on 24 January 2023 - 16:56 #1275515 Reply to:1275513

คือผมอยากจะบอกแค่ว่าผมไม่เห็นด้วยนะ ผมคิดว่างานวิจัยนี้มันมีประโยชน์อยู่บ้าง แค่นั้นแหละ 5555

By: hisoft
ContributorWindows PhoneWindows
on 24 January 2023 - 18:28 #1275525 Reply to:1275511
hisoft's picture

เรื่องหมอวินิจฉัยผิดก็เคยได้ยินนะครับ เรื่องนี้ถ้าจะเทียบกับ AI ต้องวัดเป็นสถิติ แต่ตอนนี้ก็ยากที่จะเถียงกัน

ผมเข้าใจว่าอันนี้คือส่วนหนึ่งของ target ของงานวิจัยนี้อยู่แล้วไม่ใช่เหรอครับ? เพื่อให้เริ่มมีสถิติไว้สำหรับถกเถียง

By: akira on 24 January 2023 - 17:15 #1275518 Reply to:1275505

Ai มันก็ถูก train จาก input ที่หมอได้รับบ่อยๆ นั่นแหล่ะ มนุษย์เราก็ประมวลผลจาก input เหล่านี้ หาก input ไม่พอ เขาก็มีบทสนทนาเพื่อขอขอมูลเพิ่มเติมได้ จนกว่าสมการจะมีตัวเลขพยากรณ์ที่สูงพอก็ถึงจะมีผลออกมาให้เลือก สิ่งที่ ChatGPT ต้องการนำเสนอ ไม่ใช่ output แต่เป็นการทำความเข้าใจบทสนทนา และการขอข้อมูลเพิ่มเติมใน thread เดียวกันได้ ส่วน output มันก็ขึ้นอยู่กับเจ้าของข้อมูลจะเอาไป train เรื่องอะไร

แต่พอดีงานวิจัยนี้เขาเอาแบบทดสอบวิชาชีพแพทย์ของสหรัฐมาเป็นโจทย์ ดังนั้นในฐานข้อมูลมันก็ต้องมีคำตอบอยู่แล้ว เพียงแต่ ChatGPT มันฉลาดพอที่จะตีความคำถามแยกองค์ประกอบภาษา เพื่อจำแนก input ออกจากบทสนทนา ที่ได้รับแล้วไปดึง knowledge มาตอบคำถามได้ใกล้เคียงคำตอบที่แพทย์ใช้ตอบ ซึ่งก็ไม่แปลกเพราะคำตอบมันก็มาจากข้อมูลจากแพทย์ที่อยู่ในฐานข้อมูลอยู่แล้ว เอาเป็นว่า ChatGPT ก็เหมือน writer ใน Blognone นี่แหล่ะ ที่เอา knowledge จากแหล่งข่าวมาเรียบเรียงและนำเสนอใหม่ ไม่ได้คิดคำตอบขึ้นมาใหม่เอง ถ้าถามว่าแล้วถ้ามันตอบผิดล่ะ มันก็มาจากการ train นั่นแหล่ะที่ให้ข้อมูล input ไม่เพียงพอที่จะคัดกรอง output ให้มีค่าพยากรณ์ที่สูงเพียงพอที่จะให้ผลลัพธ์ที่ถูกต้องได้

สิ่งที่คนในวงการกลัวในปัจจุบัน ไม่ใช่มันวินิจฉัยไม่ถูก เพราะมันเป็นเรื่องปรกติที่จะยังมีข้อผิดพลาดอยู่ ทุกคนเข้าใจในประเด็นนี้ แต่เขากลัวเพราะว่า ChatGPT มันมีความมั่นใจในคำตอบของตัวเองมากเกินไป มีความเชื่อว่า knowledge ที่ตัวเองได้รับการ train มาถูกต้อง ทั้งๆ ที่ คำตอบนั้นอาจจะผิดเนื่องจาก knowledge กับ parameter ที่ใช้ในการเข้าสมการอาจไม่เพียงพอที่จะคัดกรองคำตอบได้

By: kentaonline
iPhoneWindows PhoneBlackberry
on 24 January 2023 - 16:59 #1275516 Reply to:1275477

ประเด็นคือ "ChatGPT มันทำอะไรได้บ้าง"
โดยไม่สนว่ามันคือหัวเรื่อง "...สอบผ่านใบประกอบวิชาชีพ"

เดี๋ยวอนาคต คงมีข่าว ChatGPT สอบ license กฎหมาย ใบขับขี่ วิชาชีพอื่นๆอีกเยอะ เชื่อดิ

By: langisser
In Love
on 25 January 2023 - 11:04 #1275601 Reply to:1275516

ผมเชื่อว่ามีครับ และผมเห็นว่าเป็นข้อดี
เช่น ผมไม่มีความรู้เรื่องกฏกมาย ผมไปถาม ChatGPT license กฎหมาย ก็น่าจะดีกว่าถามที่ social เพื่อศึกษาเองในเบื้องต้น
ผมไม่มีความรู้ด้านการต่อเติมบ้าน ด้านโครงสร้าง ผมก็มาคุยกับ ChatGPT ที่ได้ license เรื่องนั้น

ไม่ได้บอกว่าให้เชื่อ ChatGPT 100% แต่ในขณะที่เราไม่ได้มีโอกาสถามผู้เชี่ยวชาญ การถาม ChatGPT มันก็ช่วยได้เยอะนะครับ ดีกว่าถามตาม social ที่ใครก็ไม่รู้มาตอบ ซึ่งทำให้เราสามารถศึกษาความรู้รวดเร็วขึ้น

แต่ซึ่งก็เหหมือนกับการศึกษาอื่นๆ ที่ไม่ใช่ว่าใครบอกอะไรก็เชื่อไปหมดต้องใช้ "สติและวิจารณญาณ" ไปด้วย

By: pepporony
ContributorAndroid
on 25 January 2023 - 11:40 #1275607 Reply to:1275516

จริงๆเรื่องกฏหมายนี่มัน static ยิ่งกว่าหมออีกรึเปล่าครับ อย่างเราจะเห็นเพจทนายต่างๆพูดถึงว่า 'เคสนี้มีฏีกาออกมาแล้ว ตัดสินตามนี้ๆ ฟ้องได้เลยครับ'

คือดูเหมาะกับ AI มาก