ถามเรื่อง charset หน่อยครับ

tags:

ถ้าผมมี db ชุดนึงที่ charset เป็น latin1 (ISO-8859-1)
โดยข้อมูลในนั้นเป็นภาษาไทย
ผมจะสามารถ convert ข้อมูลตรงนั้นมาอยู่ในรูป UTF-8
โดยที่ข้อมูลภาษาไทยไม่เสียหายได้ไหมครับ?

ขอบคุณครับ

zendz's picture

ลอง

LTER TABLE tablename CONVERT TO CHARACTER SET utf-8;

รบกวน backup ไว้ด้วยนะครับ

ปล. เมื่อกี้ผิด ขอแก้นิด

ipats's picture

ของคุณ zendz ผมว่าไม่น่าจะใช้ได้นะครับ
เพราะ mysql มันเห็นเป็น latin1 ถ้าแปลงเป็น tis620
ก็จะกลายเป็น illegal char ไป
(แต่อันนี้ไม่ยืนยันนะครับ ไม่เคยลอง)

จริงๆ จะแอบบอกว่าผมก็ใช้ latin1 เก็บข้อมูลเหมือนกัน
(เพราะตอนแรกนู้นไม่ได้คอมไพล์ mysql ให้รับ tis620)

วิธีที่ผมว่าสะดวกถ้าข้อมูลไม่ได้เยอะมาก
คือสร้าง database มาอีกชุดที่โครงสร้างเหมือนกัน แต่ charset เป็น utf8
แล้วก็เขียนสคริปอ่านมาจากตาราง latin1
แล้วก็เอามาใส่ฟังก์ชันแปลงเอง (อาจจะเขียนเอง)
เสร็จแล้วก็ใส่เข้าไปในตาราง utf8

----------
iPAtS

sugree's picture

ต้องแปลงสองขั้น latin1->tis620->utf8

zendz's picture

เออใช่ต้องแบบกี้บอก alter สองรอบ ผมลืมไปขอบคุณที่ท้วงครับผม

thedesp's picture

เป็น db ของพวกระบบ forum น่ะครับ (SMF)
ผมแปลกใจว่าเลือก default charset ของ mysql เป็น utf8 แล้ว
แต่พอ install forum แล้วมันกลายเป็น latin1 หมดทุก table เลย

sugree's picture

อ้อ ถ้าพวกนั้นมันเก็บข้างในเป็น utf8 อยู่แล้วมั๊ง แค่บังเอิญ charset ที่เก็บมันเป็น latin1 ซึ่งก็น่าจะใช้ได้ระดับนึง เหมือนตอนอัพเกรด drupal 4.6 เป็น 4.7 ลองเข้าไปเช็คข้อมูลว่าตอนนี้ที่เก็บอยู่มันเป็น utf8 รึเปล่า ถ้าใช่ก็ต้องทำแบบนี้

- latin1 => binary
- binary => utf8

โดยใช้ตารางการแปลงแบบนี้

'char' => 'binary'
'varchar' => 'varbinary'
'tinytext' => 'tinyblob'
'text' => 'blob'
'mediumtext' => 'mediumblob'
'longtext' => 'longblob'

แล้วก็เปลี่ยน default charset ในระดับฐานข้อมูลและระดับตาราง

อันนี้อ้างอิงจากวิธีอัพเกรดของ Drupal ซึ่งเอาจาก MySQL อีกที (charset conversion)

ipats's picture

โอ้ว เพิ่งเห็นว่ามีทริกของ binary มาช่วยได้
งั้นถ้าเป็นกรณีผมก็แปลงจาก
text latin1 -> binary -> text tis620 -> text utf8
แบบนี้น่าจะใช้ได้ ไว้มีโอกาสค่อยลองดู ;D

----------
iPAtS

thedesp's picture

ถามต่อครับ
พอเข้าไปดูแล้วงงมากขึ้น
ใน phpmyadmin มันขึ้นเป็น latin1 หมดเลย ตั้งแต่ db, table , columns
ทีนี้พอลองเปิดดู forum ทางเว็บ แบบการใช้งาน forum ปกติเลยเนี่ย
ต้องเลือก encoding ใน firefox เป็น tis-620 จึงจะอ่านภาษาไทยออก
แบบนี้แปลว่า ตัว forum เก็บข้อมูลเป็น tis620 ใส่ไว้ใน table ที่เป็น latin1 หรือป่าวครับ?

พอผมลอง convert latin1 > tis620 คราวนี้เปิดดู forum แล้วอ่านไม่ออกเลย กลายเป็นตัว ??? หมด
convert กลับ tis620 > latin1 ก็ยังเหมือนเดิม ( เป็น ??? เหมือนเดิม )
แล้วแบบนี้ผมจะ convert ยังไงดีครับ?

ขอบคุณครับ

sirn's picture

ถ้าหากเป็น Latin1 (ที่ข้างในเป็น UTF8) แปลงไปเป็น UTF8 วิธีที่ผมใช้คือ จะ Dump ข้อมูลทั้งหมดออกมาก่อน (ซึ่งไม่ใช่เรื่องน่าซีเรียสอะไรนัก ถ้าหากฐานข้อมูลไม่ใหญ่มาก) เสร็จแล้วก็ตัด latin1 ทั้งหมดเป็น utf8 แล้วค่อย Dump กลับเข้าไป

mysqldump --user=username --password=password --default-character-set=latin1 --skip-set-charset dbname > dump.sql sed -r 's/latin1/utf8/g' dump.sql > dump_utf.sql mysql --user=username --password=password --execute="DROP DATABASE dbname; CREATE DATABASE dbname CHARACTER SET utf8 COLLATE utf8_general_ci;" mysql --user=username --password=password --default-character-set=utf8 dbname < dump.sql

แต่ถ้าหากมันไม่ได้เป็น UTF8 มาตั้งแต่แรก ผมจะแปลงที่ dump มาให้มันเป็น UTF8 โดยวิธีใดๆ ก่อน (ในที่นี้อาจจะเขียนสคริปต์แปลง หรือใช้ iconv) สั่ง iconv -f iso8859-11 -t utf8 -o dump_utf.sql dump.sql แล้วค่อย dump กลับเข้าไปอีกที...

sugree's picture

thedesp - แบบนี้แปลว่าตอนนี้มันเก็บ tis620 ใน latin1 ให้แปลง latin1 -> binary -> tis620 แล้วก็จะใช้ได้ครับ

จริงๆ แล้วไม่ต้องทำหรอก แค่ไปแก้คอนฟิกของ smf ให้ใช้ tis620 เป็นค่าเริ่มต้นก็จบ ใช้ latin1 ข้างในก็ไม่ถึงกับเสียหาย

thedesp's picture

ทำได้แล้วครับ สรุปว่า data เป็น tis620 ที่เก็บใน latin1

ไปเจอวิธีในforum ของ drupal
สรุปว่าใช้การ dump ออกมาเป็น latin1 ตาม table แล้วแก้ structure ที่ dump ออกมาแล้วให้ charset ของ table ตรงกับ data (DEFAULT CHARSET=tis620)
แล้ว feed กลับเข้าไปแทนที่ของเดิม หลังจากนั้นใช้ function ของ smf ในการ convert เป็น utf8
แล้วค่อยไปแก้ system variables ของ mysqld

ขอบคุณทุกๆท่านครับ

au8ust's picture

อ่านหลายรอบ ในที่สุดก็แก้ปัญหาได้

กระทู้ดี ๆ ผ่านไปตั้ง ๒ ปีก็ยังมีประโยชน์ :D

กรณีของผมเป็นฐานข้อมูลรองรับ UTF8 แต่ดันไปใช้ latin1 ข้อมูลส่งเข้าเป็น utf8 ใน db latin1 (แต่ไม่ใช่ข้อมูลภาษาไทย ไม่ใช่ TIS-620)

วิธีแก้กลับ ใช้วิธีของคุณ sugree คือแก้จาก latin > bin > utf8 จึงจะได้ผล ส่วนขั้นตอนนั้น ทำตามคำแนะนำใน http://codex.wordpress.org/Converting_Database_Character_Sets

ขออภัยที่ปลุกชีพกระทู้เก่าครับ แต่มันมีประโยชน์จริง ๆ นะเนี่ย หึหึ


au8ust.org

natong's picture

ขอโทษที่ขุดกระทู้นะครับ ผมประสบปัญหามาหลายปี ไม่รู้จะแก้ยังไง

ผมใช้ vBulletin เวลาติดตั้งเขาใช้ database เป็น latin1 ให้เอง ทีนี้ webboard ใส่ html header ให้แสดงภาษาไทย windows-874 ได้ปกติ

ผมอยากจะเปลี่ยนให้เขาอ่านเขียนเป็น UTF8 แทน

เราจะเช็คยังไงว่าข้อมูลภาษาไทยข้างใน database เป็น UTF8 หรือ latin1 หรือ windows-874 ?

Ford AntiTrust's picture

ลองดู Function PHP ชื่อ mb_detect_encoding ครับ

Ford AntiTrust’s Blog | PHP Hoffman Framework