อยากรู้วิธีนับคำไทย

ตัดคำก่อนครับ แล้วก็นับ

anu Tue, 02/07/2013 - 22:46

ตัดคำก่อนครับ แล้วก็นับ โครงการโอเพนซอร์สที่เกี่ยวข้องลองดู SWATH ครับ

คีย์เวิร์ดที่เกี่ยวข้องคือ thai word breaking

ตาม comment บนครับ ถ้าไม่อยากเขียนอัลกอริทึมตัดคำเอง ก็หยิบ library มาใช้ได้ เช่นใช้ class BreakIterator ใน IBM ICU (http://icu-project.org/apiref/icu4j/com/ibm/icu/text/BreakIterator.html) ถ้าใช้ Java ก็ reference class BreakIterator ได้เลย (ไม่ต้อง reference ICU เพิ่มเพราะมันรวมมาแล้ว) ถ้าเป็น C#/.NET ผมเคยเขียนตัวหุ้มให้เรียกใช้ BreakIterator จาก C# ได้ แต่ไม่ได้ทำต่อแล้ว (https://code.google.com/p/icu4net/) หรือถ้าเป็น Javascript ก็เคยเห็นตัวหุ้มอันนี้ https://github.com/chakrit/node-icu-wordsplit ตัวเลือกอื่นที่เห็นบ่อยก็มี libthai (http://linux.thai.net/projects/libthai) ที่ผมเข้าใจว่า Firefox ใช้อยู่ ส่วน Chrome ใช้ ICU

เกือบจะทั้งหมดของ library ตัดคำใช้ dictionary ตัด ดังนั้นถ้ามีคำใหม่ที่ไม่มีใน dictionary มาก่อนมันก็จะตัดคำผิดๆถูกๆ

เพราะตัวนี้แหละคับ

tearfire Fri, 05/07/2013 - 16:21

เพราะตัวนี้แหละคับ ทำให้ชีวิตผมดีขึ้น ><

สงสัยมานานแล้วว่ามีวิธีการที่

iStyle Fri, 05/07/2013 - 16:48

สงสัยมานานแล้วว่ามีวิธีการที่ใช้อัลกอริทึมเพียวๆ โดยไม่ต้องมีฐานข้อมูลคำศัพท์ไหมครับ

ถ้าเป็นภาษาอังกฤษ

neizod Sat, 06/07/2013 - 10:41

ถ้าเป็นภาษาอังกฤษ (หรือภาษาอื่นที่มีตัวแบ่งคำชัดเจน) ก็ดูที่ whitespace / punctuation ได้เลยครับ

ถ้าเป็นภาษาไทย (จีน, ญี่ปุ่น) คงยากหน่อยที่จะกำหนดว่าตรงไหนเป็นจุดหมดคำ เช่นสระ อา สามารถมีตัวอักษรตามหลังหรือไม่ก็ได้ นอกจากนี้ยังมีพวกที่ต้องแบ่งคำตาม context อีกด้วย เช่น ตากลม ตามหา

รอท่านอื่นมาตอบครับ

ผมเห็นงานวิจัยสายภาษาเค้าก็พย

m3rlinez Sat, 06/07/2013 - 14:10

ผมเห็นงานวิจัยสายภาษาเค้าก็พยายามเอาพวก machine learning มาช่วยเรื่องการตัดคำนะครับ (อย่างเช่นอันนี้ที่ผมเคยอ่าน http://www.cs.cmu.edu/~paisarn/papers/thesis99.pdf) ซึ่งมันก็คงลดการพึ่ง dictionary ไปได้ แต่ว่า library ตัดคำไทยที่เราดาวน์โหลดมาใช้ได้เลยตอนนี้ใช้ dictionary ทั้งหมด (หรือถ้ามีตัวไหนไม่ใช้ dict ผมก็อยากทราบด้วย จะเอาไปลองใช้บ้าง)

ถ้่าเปลี่ยนโจทย์จากตัดคำเป็นตัดพยางค์อาจจะดูเป็นอะไรที่สร้างกฎได้ง่ายกว่า เช่นใน PDF ที่ลิงค์ไปก็มีกฎตัดพยางค์อยู่หน้า 63

ขอบคุณครับ

iStyle Sat, 06/07/2013 - 14:41

ขอบคุณครับ อันตีดพยางค์นี่น่าสนใจ

เท่าที่ทราบในภาพรวม

lancaster Tue, 09/07/2013 - 02:45

เท่าที่ทราบในภาพรวม การตัดโดยใช้อัลกอเพียวๆ ความแม่นยำยังแพ้ dictionary ในกรณีส่วนใหญ่อยู่ แถมเปลือง cpu มากกว่าเยอะเลยครับ

ส่วนมากจะเป็นการพัฒนา on top ตัวอัลกอ dictionary กันมากกว่า อย่างเช่นเอาสถิติคำที่อยู่ในบทความทั่วๆไปมาช่วยในการตัดอะไรแบบนี้ครับ

ย้ำอีกทีว่าทราบแค่ในภาพรวมครับ ไม่ได้ลงลึกอะไร

สำหรับผมเอาง่ายๆ คือ นับ

ComSci-MFU Wed, 03/07/2013 - 16:23

สำหรับผมเอาง่ายๆ คือ นับ 4ตัวอักษร เป็น 1 คำครับ ฮ่าๆ

อันนั้นพิมพ์ดีด ฟิ้วววว...

chollathee Mon, 08/07/2013 - 23:26

อันนั้นพิมพ์ดีด ฟิ้วววว...