Tags:
Node Thumbnail

ก่อนหน้านี้ ทีม DeepMind ของกูเกิลประกาศสร้าง AI ด้านวิดีโอเกม (ร่วมมือกับ Blizzard) ล่าสุดมีงานวิจัยชิ้นหนึ่งของ DeepMind เผยแพร่ออกมา แสดงให้เห็นแนวทางบางอย่างแล้ว

ช่วงหลังงานวิจัยด้าน Deep Learning เริ่มมาในทาง reinforcement learning หรือการให้ AI หัดเรียนรู้ด้วยตัวเอง (จากข่าว AlphaGo Zero ที่หัดเล่นโกะเองโดยไม่ต้องพึ่งพามนุษย์) รายละเอียดของเทคนิคนี้คือ ผู้สร้าง AI จะต้องสร้างระบบแรงจูงใจ (reward) เพื่อชักจูงให้ AI ให้ลองทำในสิ่งที่สอดคล้องกับกฎของเกม และ AI จะค่อยๆ ลองผิดลองถูกไปเรื่อยๆ จนเอาชนะเกมนั้นได้สำเร็จ

No Description

ข้อจำกัดของ reinforcement learning คือระบบ reward เหมาะกับเกมที่มีกฎค่อนข้างชัดเจน เช่น Pac-Man ที่กินจุดแล้วเห็นผลทันที แต่เกมบางประเภทที่มีความซับซ้อนสูง และไม่เคลียร์นัก (ในสายตาของ AI) ว่าการกระทำบางอย่างทำไปแล้วจะได้อะไร จะทำให้ AI ต้องลองผิดลองถูกเยอะมากๆ จนไม่สามารถปฏิบัติได้จริง

ตัวอย่างเกมประเภทนี้ที่ DeepMind นำมาสาธิตคือเกม Montezuma’s Revenge เกมแอคชั่นพัซเซิลบนเครื่อง Atari ที่วางขายในปี 1984 เกมนี้ตัวเอกจะต้องเดินไปเดินมาในเขาวงกต และเก็บกุญแจเพื่อไปเปิดประตูต่างๆ ซึ่งการเก็บกุญแจในห้องหนึ่งเพื่อไปเปิดประตูในห้องอื่นที่ไกลออกไป เป็นความไม่ชัดเจนที่ทำให้ reinforcement learning ทำงานได้ยาก บวกกับความเป็นเกมแอคชั่นที่ตัวละครเคลื่อนที่ได้อย่างอิสระ ยิ่งทำให้ทางเลือกที่เป็นไปได้มีจำนวนมหาศาล (ดูคลิปเกมแล้วน่าจะพอเห็นภาพครับ)

ทางออกของ DeepMind เพื่อลดความซับซ้อนของทางเลือกลง จึงเปลี่ยนวิธีการเรียนรู้ของ AI จากการลองผิดลองถูกด้วยตัวเอง มาเป็นการเรียนรู้จากผู้เล่นที่เป็นมนุษย์ จากคลิปการเล่นเกมใน YouTube แทน

ทีมงาน DeepMind บอกว่าแรงบันดาลใจของงานวิจัยนี้ มาจากคนจำนวนมากที่เรียนรู้ทักษะต่างๆ ด้วยตัวเองผ่านการดูคลิป ทีมงานจึงเลือกคลิปเกมมา 3 คลิปต่อหนึ่งเกม (มี 3 เกมคือ Montezuma’s Revenge, Pitfall, Private Eye) แล้วใช้เทคนิค 2 แบบประมวลผลข้อมูลจากคลิป

  • temporal distance classification (TDC) นำเฟรมวิดีโอมาเปรียบเทียบกัน เพื่อหาความแตกต่างของภาพ และดูว่าผู้เล่นกระทำการใดระหว่างสองเฟรมนั้น
  • cross-modal temporal distance classification (CDC) วิเคราะห์เสียงที่เกิดขึ้นในเกม เช่น เมื่อผู้เล่นกระโดดจะมีเสียงตัวละครกระโดด เพื่อศึกษาว่าผู้เล่นกระทำการใดในเหตุการณ์ต่างๆ ของเกม

จากนั้นนำข้อมูลที่สกัดได้จากคลิป มาเข้ากระบวนการเรียนรู้ผ่าน neural network และพัฒนาจนสามารถเล่นเกมได้สำเร็จ (งานวิจัยนี้ยังมีส่วนที่เป็น reinforcement learning อยู่บ้าง)

DeepMind เผยผลงานของบ็อต AI ที่เรียนรู้ด้วยวิธีการนี้ว่า ทำผลงานได้ดีกว่าค่าเฉลี่ยของมนุษย์ (คิดจากคะแนนในเกม ตามตาราง) และทำได้ดีกว่าบ็อตตัวอื่นๆ ที่ใช้เทคนิค reinforcement learning (Rainbow, ApeX, DQfD) มาก

No Description

ที่มา - งานวิจัย, The Register

Get latest news from Blognone

Comments

By: syootakarn
iPhoneWindows PhoneAndroidBlackberry
on 2 June 2018 - 13:00 #1052997
syootakarn's picture

น่ากลัว... เรียนรู้ได้จากคลิบ

By: akira on 2 June 2018 - 13:34 #1053000

น่าสนใจตรง Map เข้ากับโครงสร้างเกมส์ยังไง สามารถเอาชนะได้ทุกฉาก หรือเฉพาะฉากที่่ Train ถ้าทุกฉากโดยเรียนรู้จาก Object ได้เอง ที่ได้เรียนรู้จาก Youtube แล้วเอามาประยุกต์ฉากอื่นได้เนี่ย มันเกินคำว่า Robot ไปแล้ว

By: bellpocket on 2 June 2018 - 15:02 #1053009

เดี๋ยวเอาคลิปสงคราม ยิงกัน ฆ่าตกรรม ฯลฯ ให้ AI ดู

By: terap
Windows PhoneAndroidRed HatUbuntu
on 3 June 2018 - 13:35 #1053095
terap's picture

become human

By: osmiumwo1f
ContributorWindows PhoneWindows
on 4 June 2018 - 13:46 #1053255 Reply to:1053095
osmiumwo1f's picture

DeepMind: Become Hooman

By: IDCET
Contributor
on 3 June 2018 - 14:40 #1053102

อนาคตมีใช้ AI ทำ brainwash แหงๆ

By: aeksael
ContributoriPhoneWindows PhoneAndroid
on 3 June 2018 - 20:12 #1053129
aeksael's picture

แปลว่ายังห่างจากมนุษย์มากหลายขุม เรื่องความคิดที่ซับซ้อน แล้วความเข้าใจสิ่งที่ผู้สร้างเกมจะสื่อ

ต่อให้ดูคลิปได้ก็แค่วิเคราะห์จากคลิป ไม่มีวันจะทำspeed run ได้ชนะมนุษย์หรอก


The Last Wizard Of Century.

By: hisoft
ContributorWindows PhoneWindows
on 3 June 2018 - 20:53 #1053135 Reply to:1053129
hisoft's picture

ไม่มีวันจะทำspeed run ได้ชนะมนุษย์หรอก

ไม่มีวันนี่รวมถึงอนาคตด้วยเหรอครับ? ผมว่าไม่ครับ สักวันมันก็ทำได้

By: pppo on 4 June 2018 - 14:05 #1053261 Reply to:1053129

ผมว่าที่น่ากลัวนี่เพราะว่ามันทำได้ดีกว่าค่าเฉลี่ยมนุษย์มากกว่า
เพราะ AI เราจะ replicate มันกี่ตัวก็ได้ แล้วก็ให้มันเทรนไปพร้อมๆกันก็จะได้สิ่งที่เหนือค่าเฉลี่ยเท่าไหร่ก็ได้
แต่เรา replicate เทพเกมมิ่งไม่ได้อะครับ ด้วยเวลาเท่าๆกันแล้ว