ตอนนี้ผมมีไอเดียว่าจะทำ Encyclopedia Database System น่ะครับ แต่ไอเดียตันๆ ไม่รู้จะอิมพลีเมนท์ยังไงดี
คือเกิดจากการที่ว่า ผมใช้ Wikipedia แล้ว ข้อมูลส่วนใหญ่มันยังเป็น Text Base ทั้งที่ข้อมูลบางชนิดมันมี structure ของมัน แต่มันไม่สามารถจะค้นหา จัดการ หรือทำอะไรๆ ได้อย่างที่มันน่าจะทำได้
ปัญหานี้คือ อย่างเช่น มีอยู่ช่วงหนึ่งที่ผมพยายามค้นหาธาตุในตารางธาตุ แล้วอยากจะรู้ความหนาแน่นของธาตุโลหะแต่ละชนิด เพื่อเรียงลำดับหาธาตุที่น้ำหนักมากที่สุด
ในWikipedia มีข้อมูลความหนาแน่นของก้อนธาตุแต่ละชนิดให้ ในแต่ละหน้าของธาตุทุกธาตุอยู่แล้ว
แต่มันเป็น Text และเก็บรวมในหน้าเพจ ไม่ใช้ข้อมูลที่แยกออกมาเรียงได้ และทางแก้คือ มีคนที่นั่งเขียน Page ใหม่ แล้วทำตาราง static เพื่อลิสท์ "สิบอันดับธาตุที่หนักที่สุด"
ผมก็เลยอยากทำ ชุดระบบ Database ที่สามารถเก็บข้อมูลแยกส่วนได้
คือเป็น System ที่มีระบบ ฟอร์แมทของ Metadata และชุดคำสั่ง รวมถึง API ในภาษาอื่นๆ ที่สามารถจะใช้เชื่อมต่อกับ Database ให้สามารถใส่ข้อมูล เพิ่มข้อมูล แก้ไขข้อมูล
และที่สำคัญที่สุดคือการจัดการผลการค้นหาข้อมูล ที่ละเอียดและมีประสิทธิภาพอย่างที่ MySQL ทำได้
ตอนนี้ผมมีไอเดียอยู่ว่ามันควรจะเก็บข้อมูลของอะไรก็ได้ แล้วแยกเป็นหลายๆชนิด อย่างเช่น ข้อมูลของธาตุในตารางธาตุ ก็มีโครงสร้างข้อมูลของธาตุแต่ละชนิด ข้อมูลของบุคคล แล้วมีโครงสร้างย่อยเป็นของดารา นักร้อง นักเขียน
ที่สำคัญคือใช้ Data ที่ตรงกับตัวข้อมูลจริงๆ ไว้ใน DB อย่างเช่นใช้ DateTime กับวันเกิดของบุคคล
กำลังพยายามหาทางอิมพลีเมนท์มันเป็น Relational บน MySQL แต่มันก็ยังมีข้อจำกัดหลายอย่าง
อย่างเช่นว่าถ้่าทำ O/R Mapping แบบ Class:Table ก็ออกจะยุ่งยากตรงการ Join
ถ้าทำแบบ Struct:Table ก็ลำบากเวลาที่จะต้องเอาข้อมูลมารวมกันจากหลายๆตาราง
รวมถึงความอ่อนด้อยที่ไม่แน่ใจว่า MySQL มีฟีเจอร์บางตัวที่ต้องการหรือไม่
กำลังมองๆ OODB กับ NoSQL ก็ไม่เห็นที่ไหนเปิดโฮสท์ฟรีให้ทดลองใช้
ก็เลยอยากได้
- ไอเดีย ว่ามีไอเดียอะไรที่ระบบนี้ควรมี ควรทำได้ เพื่อที่จะเป็นฐานข้อมูลสำหรับสารานุกรมได้อย่างเหมาะสม
- แนวคิด ทาง Technical หรือ Implementation ว่าควรเลือกใช้เครื่องมือตัวไหน หรือมี Methodology หรือ Design / Concept / Pattern อะไร ที่ควรจะิไปดูบ้าง
- และความเห็นอะไรก็ได้ครับ อย่างเช่นมันมีอยู่แล้วนะ คือตัวนี้ชื่อนี้ หรือ อยากให้มันทำอะไรได้บ้าง ถ้ามีอะไรแบบนี้อยากจะใช้มันทำอะไร หรือสนใจที่จะทำ (ยกเว้น "เลิกคิดเถอะ" ไม่เอานะครับแนวนี้)
ขอความกรุณาทุกท่าน ขอขอบคุณล่วงหน้าครับ
สิ่งที่คุณจะทำ เรียกว่า
lew Wed, 12/05/2010 - 16:10
สิ่งที่คุณจะทำ เรียกว่า microformat ครับ
ทาง Wikipedia มีความพยายามจะทำเรื่องนี้อยู่ (หน้าโครงการ) แต่ข้อมูลบางอย่างก็ยังไม่มี format ดังนั้นก็เสนอเข้าไปได้ครับ ที่แน่ๆ คือ ข้อมูลบุคคล, สถานที่ นั้นมีการใช้งานก้นแล้ว
สำหรับประเด็น "ตารางธาตุ" ที่คุณพูดถึงนั้นยังไม่มีใครทำครับ
ข้อดีของการใช้ microformat แทนที่จะสร้างมาตรฐานใหม่คือ มีคนช่วยคุณทำ และแอพลิเคชั่นข้างนอกเข้าว่าเราทำอะไรอยู่ เช่น microformat ที่ wikipedia ทำในตอนนี้สามารถค้นหาด้วย YQL ได้
เท่าที่เข้าใจ
Thaina Wed, 12/05/2010 - 16:42
In reply to สิ่งที่คุณจะทำ เรียกว่า by lew
เท่าที่เข้าใจ ดูเหมือนคอนเซปท์จะกลับกันน่ะครับ
คือเข้าใจว่า Microformat คือเขียน Mark ข้อมูลไว้ในหน้า HTML โดยตรง แล้วให้ระบบอื่นๆ ใช้ YQL มาดึงไปใช้
อันนี้ถูกใหมครับ?
ผมกลับกันคือผมอยากให้มันเป็นข้อมูลไปกองอยู่ใน DBMS อะไรก็ตามแต่(RDB OODB Cassadra ฯลฯลฯ) แล้วค่อยมีหน้าเพจ HTML และระบบอื่นๆ ไปดึงมันมาแสดงผล
คือให้มัน Base on Data Space น่ะครับ เป้าหมายของผมคือการคัดแยกเก็บข้อมูลเป็นส่วนๆให้มากที่สุด แล้วจัดให้มันมีประสิทธิภาพสูงสุดในการดึงออกมาใช้
ส่วนตัวผมก็อยากให้มันมีของที่ผมว่า เป็นมาตรฐานที่มีคนทำอยู่แล้ว แล้วไปร่วมทำกับเขาน่ะนะครับ
แต่หา Keyword ที่จะใช้หามันไม่เจอ ไม่รู้จะเรียกว่าอะไร
ไม่มีความเห็นทางเทคนิค
rabbitch Thu, 13/05/2010 - 00:25
ไม่มีความเห็นทางเทคนิค แต่ไปเล่นที่ www.wolframalpha.com แล้วค้นหา Element density มันเรียงออกมาให้ด้วย
โอ ได้ลองแล้ว
Thaina Mon, 17/05/2010 - 02:32
In reply to ไม่มีความเห็นทางเทคนิค by rabbitch
โอ ได้ลองแล้ว รู้สึกว่าจะได้อย่างใจเลยครับ
อยากจะทำระบบที่จะให้มันสามารถจะเก็บและบอกข้อมูลแบบนี้ออกมาได้นี่ล่ะครับ
xml ??
saknarak Mon, 17/05/2010 - 01:33
xml ??
กำลังเล็งไว้อยู่เหมือนกันครับ
Thaina Mon, 17/05/2010 - 02:28
In reply to xml ?? by saknarak
กำลังเล็งไว้อยู่เหมือนกันครับ แต่ไม่ค่อยมีข้อมูลเลยว่ามันมีข้อจำกัดด้าน Performance ยังไงบ้าง
ทำ index ไว้
saknarak Mon, 17/05/2010 - 21:46
In reply to กำลังเล็งไว้อยู่เหมือนกันครับ by Thaina
ทำ index ไว้ ก็ไม่ช้าครับ
ปรกติ index บน xml จะมี 3 ลักษณะคือ
index บน attribute
index บน tag
และ index บน value
อ้างอิงจาก sql server ที่ทำ index บน column ที่เป็น xml data type
ถ้าส่วน text เก็บแบบ text
JN Mon, 17/05/2010 - 21:45
ถ้าส่วน text เก็บแบบ text แล้วใช้ text index ส่วนที่เป็น structure ก็ relational เหมือนเดิมล่ะครับ?
ส่วน xml อยากรู้เหมืิอนกันว่า mysql ทำได้เร็วแค่ไหน :)
มีปัญหาตรง Structure น่ะครับ
Thaina Tue, 18/05/2010 - 09:46
In reply to ถ้าส่วน text เก็บแบบ text by JN
มีปัญหาตรง Structure น่ะครับ ว่า Relational ไม่ค่อยรองรับ object concept หลายๆอย่าง
รวมถึงผมยังไม่ค่อยแน่ใจเรื่อง Design ด้วยน่ะครับ ว่าทำโครงสร้างแบบไหนถึงจะเหมาะ
ตอนนี้ผมมี Requirement แค่แยกส่วน Property ที่เป็น Value ออกมาจาก Plain Text ทำ O/R ตรงๆด้วย MySQL ก็ได้อยู่ (แต่ O/R ก็มีปัญหาเรื่อง Inheritance กับ Polymorphism)
แต่เอาจริงๆ มีที่อยากได้คือ ต้องการให้ข้อมูลที่ Relate กันทั้งหมด เกี่ยวพันถึงกันจริงๆ สืบค้นได้ด้วย ID
อย่างเช่น ถ้าผมเก็บข้อมูลตำนานกรีกไว้เรื่องนึง มีชื่ออาวุธ แล้วมีข้อมูลการ์ตูนอีกเรื่องที่ใช้ชื่ออาวุธเดียวกัน ก็ดึงการ์ตูนเรื่องนั้นออกมาแสดงได้
ตรงส่วนนี้ถ้าทำด้วย Relational จะค่อนข้างซับซ้อนมาก ถ้าทำด้วย XML น่าจะง่ายกว่า แต่ผมก็คิดว่า Relational ประสิทธิภาพสูงกว่า
ถึงอย่างนั้นก็ต้องทำการ Query หลายตาราง มีการ Join ร้อยแปด ถ้ามันเป็น OODB คงจะเหมาะที่สุด
แต่ผมก็ไม่ทราบว่า OODB ดีๆ มันสู้ Relational ได้รึยัง(และมันไม่มีโฮสท์ฟรีที่ให้ OODB มาลองใช้ด้วย)
จริงๆแล้วจะถามด้วยว่า มี
Thaina Tue, 18/05/2010 - 10:14
In reply to ถ้าส่วน text เก็บแบบ text by JN
จริงๆแล้วจะถามด้วยว่า มี Feature อะไรที่น่าสนใจจะใช้บ้าง ถ้าหากว่าต้องการจะเก็บข้อมูลทุกสิ่งทุกอย่าง เพื่อให้สามารถดึงเอาไปใช้ทำอะไรๆได้
การจัดสถิติก็อย่างนึง แล้วก็การดึงข้อมูลที่สัมพันธ์กันก็อีกอย่างหนึ่ง
ถ้าเทียบเป็น Wiki คือ สามารถกวาด Relate Topic ออกมาแสดงได้เอง
ถ้าออกแบบตอนนี้ ดูเหมือนมันจะกลายเป็น Relation Base คือมีตารางหลัก เก็บ ID Name Table แล้วใช้ Name เป็น Index Foreign Key ของทุกๆตาราง แล้วถึงมีตารางย่อยๆ เก็บค่าต่างๆ แยกไปตามชนิดข้อมูล
ถ้าทำแบบนี้ ก็ดูจะคล้ายๆ XML ที่มีข้อมูล Optional
น่าจะยังมีฟีเจอร์ที่น่าจะใส่เข้าไปเป็น Requirement อีก และถ้าได้สิ่งนั้นมาน่าจะช่วยให้การออกแบบง่ายขึ้น
มีความเห็นอย่างไรบ้างครับ?