Tags:

ตอนนี้ผมมีไอเดียว่าจะทำ Encyclopedia Database System น่ะครับ แต่ไอเดียตันๆ ไม่รู้จะอิมพลีเมนท์ยังไงดี

คือเกิดจากการที่ว่า ผมใช้ Wikipedia แล้ว ข้อมูลส่วนใหญ่มันยังเป็น Text Base ทั้งที่ข้อมูลบางชนิดมันมี structure ของมัน แต่มันไม่สามารถจะค้นหา จัดการ หรือทำอะไรๆ ได้อย่างที่มันน่าจะทำได้

ปัญหานี้คือ อย่างเช่น มีอยู่ช่วงหนึ่งที่ผมพยายามค้นหาธาตุในตารางธาตุ แล้วอยากจะรู้ความหนาแน่นของธาตุโลหะแต่ละชนิด เพื่อเรียงลำดับหาธาตุที่น้ำหนักมากที่สุด
ในWikipedia มีข้อมูลความหนาแน่นของก้อนธาตุแต่ละชนิดให้ ในแต่ละหน้าของธาตุทุกธาตุอยู่แล้ว
แต่มันเป็น Text และเก็บรวมในหน้าเพจ ไม่ใช้ข้อมูลที่แยกออกมาเรียงได้ และทางแก้คือ มีคนที่นั่งเขียน Page ใหม่ แล้วทำตาราง static เพื่อลิสท์ "สิบอันดับธาตุที่หนักที่สุด"

ผมก็เลยอยากทำ ชุดระบบ Database ที่สามารถเก็บข้อมูลแยกส่วนได้
คือเป็น System ที่มีระบบ ฟอร์แมทของ Metadata และชุดคำสั่ง รวมถึง API ในภาษาอื่นๆ ที่สามารถจะใช้เชื่อมต่อกับ Database ให้สามารถใส่ข้อมูล เพิ่มข้อมูล แก้ไขข้อมูล
และที่สำคัญที่สุดคือการจัดการผลการค้นหาข้อมูล ที่ละเอียดและมีประสิทธิภาพอย่างที่ MySQL ทำได้

ตอนนี้ผมมีไอเดียอยู่ว่ามันควรจะเก็บข้อมูลของอะไรก็ได้ แล้วแยกเป็นหลายๆชนิด อย่างเช่น ข้อมูลของธาตุในตารางธาตุ ก็มีโครงสร้างข้อมูลของธาตุแต่ละชนิด ข้อมูลของบุคคล แล้วมีโครงสร้างย่อยเป็นของดารา นักร้อง นักเขียน
ที่สำคัญคือใช้ Data ที่ตรงกับตัวข้อมูลจริงๆ ไว้ใน DB อย่างเช่นใช้ DateTime กับวันเกิดของบุคคล

กำลังพยายามหาทางอิมพลีเมนท์มันเป็น Relational บน MySQL แต่มันก็ยังมีข้อจำกัดหลายอย่าง
อย่างเช่นว่าถ้่าทำ O/R Mapping แบบ Class:Table ก็ออกจะยุ่งยากตรงการ Join
ถ้าทำแบบ Struct:Table ก็ลำบากเวลาที่จะต้องเอาข้อมูลมารวมกันจากหลายๆตาราง
รวมถึงความอ่อนด้อยที่ไม่แน่ใจว่า MySQL มีฟีเจอร์บางตัวที่ต้องการหรือไม่
กำลังมองๆ OODB กับ NoSQL ก็ไม่เห็นที่ไหนเปิดโฮสท์ฟรีให้ทดลองใช้

ก็เลยอยากได้
- ไอเดีย ว่ามีไอเดียอะไรที่ระบบนี้ควรมี ควรทำได้ เพื่อที่จะเป็นฐานข้อมูลสำหรับสารานุกรมได้อย่างเหมาะสม
- แนวคิด ทาง Technical หรือ Implementation ว่าควรเลือกใช้เครื่องมือตัวไหน หรือมี Methodology หรือ Design / Concept / Pattern อะไร ที่ควรจะิไปดูบ้าง
- และความเห็นอะไรก็ได้ครับ อย่างเช่นมันมีอยู่แล้วนะ คือตัวนี้ชื่อนี้ หรือ อยากให้มันทำอะไรได้บ้าง ถ้ามีอะไรแบบนี้อยากจะใช้มันทำอะไร หรือสนใจที่จะทำ (ยกเว้น "เลิกคิดเถอะ" ไม่เอานะครับแนวนี้)

ขอความกรุณาทุกท่าน ขอขอบคุณล่วงหน้าครับ

Get latest news from Blognone
By: lew
FounderJusci's WriterMEconomicsAndroid
on 12 May 2010 - 16:10 #176996
lew's picture

สิ่งที่คุณจะทำ เรียกว่า microformat ครับ

ทาง Wikipedia มีความพยายามจะทำเรื่องนี้อยู่ (หน้าโครงการ) แต่ข้อมูลบางอย่างก็ยังไม่มี format ดังนั้นก็เสนอเข้าไปได้ครับ ที่แน่ๆ คือ ข้อมูลบุคคล, สถานที่ นั้นมีการใช้งานก้นแล้ว

สำหรับประเด็น "ตารางธาตุ" ที่คุณพูดถึงนั้นยังไม่มีใครทำครับ

ข้อดีของการใช้ microformat แทนที่จะสร้างมาตรฐานใหม่คือ มีคนช่วยคุณทำ และแอพลิเคชั่นข้างนอกเข้าว่าเราทำอะไรอยู่ เช่น microformat ที่ wikipedia ทำในตอนนี้สามารถค้นหาด้วย YQL ได้


lewcpe.com, @public_lewcpe

By: Thaina
Windows
on 12 May 2010 - 16:42 #177005 Reply to:176996

เท่าที่เข้าใจ ดูเหมือนคอนเซปท์จะกลับกันน่ะครับ
คือเข้าใจว่า Microformat คือเขียน Mark ข้อมูลไว้ในหน้า HTML โดยตรง แล้วให้ระบบอื่นๆ ใช้ YQL มาดึงไปใช้
อันนี้ถูกใหมครับ?

ผมกลับกันคือผมอยากให้มันเป็นข้อมูลไปกองอยู่ใน DBMS อะไรก็ตามแต่(RDB OODB Cassadra ฯลฯลฯ) แล้วค่อยมีหน้าเพจ HTML และระบบอื่นๆ ไปดึงมันมาแสดงผล
คือให้มัน Base on Data Space น่ะครับ เป้าหมายของผมคือการคัดแยกเก็บข้อมูลเป็นส่วนๆให้มากที่สุด แล้วจัดให้มันมีประสิทธิภาพสูงสุดในการดึงออกมาใช้

ส่วนตัวผมก็อยากให้มันมีของที่ผมว่า เป็นมาตรฐานที่มีคนทำอยู่แล้ว แล้วไปร่วมทำกับเขาน่ะนะครับ
แต่หา Keyword ที่จะใช้หามันไม่เจอ ไม่รู้จะเรียกว่าอะไร

By: rabbitch on 13 May 2010 - 00:25 #177177

ไม่มีความเห็นทางเทคนิค แต่ไปเล่นที่ www.wolframalpha.com แล้วค้นหา Element density มันเรียงออกมาให้ด้วย

By: Thaina
Windows
on 17 May 2010 - 02:32 #177969 Reply to:177177

โอ ได้ลองแล้ว รู้สึกว่าจะได้อย่างใจเลยครับ
อยากจะทำระบบที่จะให้มันสามารถจะเก็บและบอกข้อมูลแบบนี้ออกมาได้นี่ล่ะครับ

By: saknarak
Android
on 17 May 2010 - 01:33 #177967
saknarak's picture

xml ??

By: Thaina
Windows
on 17 May 2010 - 02:28 #177968 Reply to:177967

กำลังเล็งไว้อยู่เหมือนกันครับ แต่ไม่ค่อยมีข้อมูลเลยว่ามันมีข้อจำกัดด้าน Performance ยังไงบ้าง

By: saknarak
Android
on 17 May 2010 - 21:46 #178018 Reply to:177968
saknarak's picture

ทำ index ไว้ ก็ไม่ช้าครับ

ปรกติ index บน xml จะมี 3 ลักษณะคือ
index บน attribute
index บน tag
และ index บน value

อ้างอิงจาก sql server ที่ทำ index บน column ที่เป็น xml data type

By: JN
iPhone
on 17 May 2010 - 21:45 #178017

ถ้าส่วน text เก็บแบบ text แล้วใช้ text index ส่วนที่เป็น structure ก็ relational เหมือนเดิมล่ะครับ?
ส่วน xml อยากรู้เหมืิอนกันว่า mysql ทำได้เร็วแค่ไหน :)

By: Thaina
Windows
on 18 May 2010 - 09:46 #178054 Reply to:178017

มีปัญหาตรง Structure น่ะครับ ว่า Relational ไม่ค่อยรองรับ object concept หลายๆอย่าง
รวมถึงผมยังไม่ค่อยแน่ใจเรื่อง Design ด้วยน่ะครับ ว่าทำโครงสร้างแบบไหนถึงจะเหมาะ

ตอนนี้ผมมี Requirement แค่แยกส่วน Property ที่เป็น Value ออกมาจาก Plain Text ทำ O/R ตรงๆด้วย MySQL ก็ได้อยู่ (แต่ O/R ก็มีปัญหาเรื่อง Inheritance กับ Polymorphism)

แต่เอาจริงๆ มีที่อยากได้คือ ต้องการให้ข้อมูลที่ Relate กันทั้งหมด เกี่ยวพันถึงกันจริงๆ สืบค้นได้ด้วย ID
อย่างเช่น ถ้าผมเก็บข้อมูลตำนานกรีกไว้เรื่องนึง มีชื่ออาวุธ แล้วมีข้อมูลการ์ตูนอีกเรื่องที่ใช้ชื่ออาวุธเดียวกัน ก็ดึงการ์ตูนเรื่องนั้นออกมาแสดงได้

ตรงส่วนนี้ถ้าทำด้วย Relational จะค่อนข้างซับซ้อนมาก ถ้าทำด้วย XML น่าจะง่ายกว่า แต่ผมก็คิดว่า Relational ประสิทธิภาพสูงกว่า
ถึงอย่างนั้นก็ต้องทำการ Query หลายตาราง มีการ Join ร้อยแปด ถ้ามันเป็น OODB คงจะเหมาะที่สุด
แต่ผมก็ไม่ทราบว่า OODB ดีๆ มันสู้ Relational ได้รึยัง(และมันไม่มีโฮสท์ฟรีที่ให้ OODB มาลองใช้ด้วย)

By: Thaina
Windows
on 18 May 2010 - 10:14 #178058 Reply to:178017

จริงๆแล้วจะถามด้วยว่า มี Feature อะไรที่น่าสนใจจะใช้บ้าง ถ้าหากว่าต้องการจะเก็บข้อมูลทุกสิ่งทุกอย่าง เพื่อให้สามารถดึงเอาไปใช้ทำอะไรๆได้

การจัดสถิติก็อย่างนึง แล้วก็การดึงข้อมูลที่สัมพันธ์กันก็อีกอย่างหนึ่ง
ถ้าเทียบเป็น Wiki คือ สามารถกวาด Relate Topic ออกมาแสดงได้เอง
ถ้าออกแบบตอนนี้ ดูเหมือนมันจะกลายเป็น Relation Base คือมีตารางหลัก เก็บ ID Name Table แล้วใช้ Name เป็น Index Foreign Key ของทุกๆตาราง แล้วถึงมีตารางย่อยๆ เก็บค่าต่างๆ แยกไปตามชนิดข้อมูล
ถ้าทำแบบนี้ ก็ดูจะคล้ายๆ XML ที่มีข้อมูล Optional

น่าจะยังมีฟีเจอร์ที่น่าจะใส่เข้าไปเป็น Requirement อีก และถ้าได้สิ่งนั้นมาน่าจะช่วยให้การออกแบบง่ายขึ้น
มีความเห็นอย่างไรบ้างครับ?