สถาบันวิจัยปัญญาประดิษฐ์ประเทศไทยปล่อยโมเดลทางภาษาไทย WangchanBERTa

By tontan

on 24 January 2021 - 16:10 Tag: Thailand, Artificial Intelligence, Natural Language

Thailand

สถาบันวิจัยปัญญาประดิษฐ์ประเทศไทย (VISTEC-depa Thailand Artificial Intelligence Research Institute) ปล่อยโมเดล WangchanBERTa ซึ่งเป็นโมเดลทางภาษาไทยสำหรับงานประมวลผลภาษาธรรมชาติโดยฝึกฝนบนสถาปัตยกรรม RoBERTa

โมเดล WangchanBERTa ถูกฝึกฝนด้วยชุดข้อมูลกว่า 78.48 GB ใช้ตัวตัดคำย่อย SentencePiece ในการแบ่งคำและ ใช้เวลาฝึกฝนโมเดล 3 เดือน

ทำให้โมเดล WangchanBERTa ถือเป็นโมเดลภาษาไทยที่ใหญ่ที่สุด ณ ขณะนี้ ซึ่งในการฝึกฝนใช้ไฟฟ้าทั้งหมด 10,566.5 kWh หรือคิดเป็นรอยเท้าคาร์บอน 7.5 ตัน เทียบเท่าการใช้รถ 1.6 คันในหนึ่งปี

ที่มา: VISTEC-depa AI Research Institute of Thailand

Hiring! บริษัทที่น่าสนใจ

Carmen Software

Hotel Financial Solutions

Next Innovation (Thailand) Co., Ltd.

We are web design with consulting & engineering services driven the future stronger and flexibility.

KKP Dime

KKP Dime บริษัทในเครือเกียรตินาคินภัทร

Kiatnakin Phatra Financial Group

Financial Service

Fastwork Technologies

Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน

Thoughtworks Thailand

Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน

Iron Software

Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.

CLEVERSE

Cleverse is a Venture Builder. Our team builds several tech companies.

Nipa Cloud

#1 OpenStack cloud provider in Thailand with our own data center and software platform.

Bangmod Enterprise

The leader in Cloud Server and Hosting in Thailand.

CIMB THAI Bank

MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank

Bangkok Bank

Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking

MuvMi (Urban Mobility Tech Co.,Ltd.)

Shape the future of urban mobility towards affordable, clean, and safe solutions

T.N. Digital Solution Co., Ltd.

TNDS has been involving in every first move of banking’s major digital transformation.

KBTG - KASIKORN Business-Technology Group

KBTG - "The Technology Company for Digital Business Innovation"

Siam Commercial Bank Public Company Limited

"Let's start a brighter career future together"

Icon Framework co.,Ltd.

Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก

REFINITIV

The Financial and Risk business of Thomson Reuters is now Refinitiv

H LAB

Re-engineering healthcare systems through intelligent platforms and system design.

The Gang Technology Co., Ltd.

We're a Digital Agency that helps our customers transform their business into digital with ease.

LTMH

LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย

Seven Peaks

We Drive Digital Transformation

Wisesight (Thailand) Co., Ltd.

The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure

MOLOG Tech

We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.

Data Wow Co.,Ltd

We enable our clients to realize increased productivity by solving their most complex issues by Data

LINE Company Thailand

LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call

LINE MAN Wongnai

Join our journey to becoming No.1 food platform in Thailand

อื้อหือ ผมรอชมรีวิวเลยครับ

-Rookies- Sun, 24/01/2021 - 22:49

อื้อหือ ผมรอชมรีวิวเลยครับ

ต้องดูว่าใช้ข้อมูลภาษาจากแหล่

Aize Mon, 25/01/2021 - 00:51

ต้องดูว่าใช้ข้อมูลภาษาจากแหล่งไหนในการเทรนต์ เพราะถ้าเป็นภาษาทางการ ที่ไม่ใช่ภาษาพูดหรือภาษาแสล ภาษาโชเชีล ก็จะเหมาะกับงานอีกแบบนึง

ในที่มามีข้อมูลให้หมดเลยครับ

hisoft Mon, 25/01/2021 - 01:40

ในที่มามีข้อมูลให้หมดเลยครับ

จะเห็นได้ว่า นอกจากขนาดข้อมูลที่ยังห่างไกลจากภาษาอังกฤษแล้ว ปัญหาร้ายแรงอีกอย่างของเราคือข้อความในชุดข้อมูลเปิดส่วนใหญ่เป็นภาษาทางการ เช่น ข่าว หนังสือ และบทความในสารานุกรม หากเราเทรนโมเดลด้วยข้อมูลภาษาทางการแทบทั้งหมด โมเดลของเราย่อมมีปัญหาเมื่อเจอข้อความที่ถูกใช้จริงในบทสนทนาหรือโซเชียลมีเดีย

ด้วยเหตุนี้ เราจึงขอความร่วมมือไปยัง Wisesight และ Chaos Theory สองบริษัทผู้ให้บริการวิเคราะห์ข้อมูลโซเชียลมีเดียไทย Wisesight ได้บริจาคข้อมูลโซเชียลมีเดียที่เก็บจากข้อความสาธารณะในปี 2019 ส่วนหนึ่งจากแพลตฟอร์มต่างๆ เช่น Twitter, Facebok, Pantip, Instagram, YouTube และอื่นๆ รวม 51.44GB (wisesight-large) ส่วน Chaos Theory ได้บริจาคข้อมูลที่เป็นสาธารณะจาก Pantip ปี 2015–2019 ขนาด 22.35GB (pantip-large) นั่นทำให้โดยรวมแล้วเรามีข้อมูลถึง 78GB สำหรับเทรน language model ของเราขึ้นมา

พยายามอ่านแล้วยังงงๆ หรือผมอ่านข้ามนะ

หนึ่งในผู้เขียนครับ

cstorm Tue, 26/01/2021 - 10:47

หนึ่งในผู้เขียนครับ คำตอบสั้นๆคือ "ได้เกือบทุกอย่างที่เกี่ยวกับภาษาไทย" ครับ

คำตอบยาวขึ้นมาหน่อยจากในบทความ

คุณสามารถทำเรื่องง่ายๆที่สุดอย่างการจำแนกว่าข้อความนี้มีความรู้สึกเป็นบวกหรือลบ (sentiment analysis), จัดกลุ่มข้อความ (topic modeling), จำแนกชนิดคำ (named entity recognition) ไปจนถึงเรื่องที่น่าสนใจมากขึ้นอย่างระบบค้นหาที่เข้าใจความหมายของภาษา (semantic search), ระบบถาม-ตอบคำถามอัตโนมัติ (question answering), สร้างชุดข้อมูลเพิ่มสำหรับเทรนโมเดล (data augmentation) หรือแค่เปลี่ยนข้อความเป็นตัวเลขสำหรับโมเดลชิ้นต่อไปของคุณ (document2vec)
ทั้งหมดนี้ คุณสามารถสร้างโมเดลประสิทธิภาพสูงที่สุดเท่าที่จะทำได้ปัจจุบัน ในเวลาไม่เกิน 30 นาทีบน GPU ระดับเดียวกับที่ให้บริการฟรีบน Google Colaboratory หรือ Kaggle 
มาเริ่มกันเลย https://colab.research.google.com/drive/1Kbk6sBspZLwcnOE61adAQo30xxqOQ9ko?usp=sharing