Twitter จะเลิกใช้ MySQL เปลี่ยนเป็น Cassandra เข้าสู่ยุคของ NoSQL?

By mk Founder on Tag: Open Source, MySQL, Database, Twitter, Cassandra
Open Source

Ryan King วิศวกรของ Twitter ให้สัมภาษณ์กับบล็อก MyNoSQL ว่า Twitter มีแผนจะเปลี่ยนจากฐานข้อมูล MySQL ไปใช้ Apache Casandra ในเร็วๆ นี้ ด้วยเหตุผลเรื่องการขยายตัวของข้อมูล

ตอนนี้ Twitter ใช้คลัสเตอร์ MySQL ที่ใช้ memcache เข้าช่วย แต่พบว่าต้องใช้คนดูแลรักษามาก แถมอัตราการส่งข้อมูลยังเพิ่มมากขึ้นเรื่อยๆ ล่าสุดขึ้นมาที่ 50 ล้านครั้งต่อวันแล้ว (ข่าวเก่า Twitter มีผู้ส่งข้อความกว่า 600 ครั้งต่อวินาที) เราอาจบอกได้ว่า Twitter โตขึ้นมาถึงระดับที่ relational database เริ่มรับไม่ไหว

ทางออกของ Twitter จึงคล้ายกับรุ่นพี่อย่างกูเกิล (MapReduce/BigTable) ยาฮู (Hadoop) หรือ Facebook ซึ่งเป็นคนทำ Cassandra ฐานข้อมูลแบบกระจายศูนย์ ภายหลังโอเพนซอร์สและยกให้อยู่ในการดูแลของโครงการ Apache แนวทางนี้มีชื่อเรียกอย่างไม่เป็นทางการว่า "NoSQL" ซึ่งหมายถึงวิธีการเก็บข้อมูลแบบอื่นๆ ที่ไม่ใช่ relational database นั่นเอง

นอกจาก Twitter กับ Facebook แล้ว ลูกค้าของ Cassandra ยังมี Digg, Cisco, Rackspace

ที่มา - ComputerWorld

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
 Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
 KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
 Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
 Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
 Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
 Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
 CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
 Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
 Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
 CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
 Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
 MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
 T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
 KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
 Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
 Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
 REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
 H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
 The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
 LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
 Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
 Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
 MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
 Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
 LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
 LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

way_cs16 Thu, 25/02/2010 - 08:39

เห็นเว็บ narisa.com เค้ามี meeting เรื่องนี้กันวันเสาร์ที่ 27 กพ.นี้นิครับ ว่าจะไปแต่ต้องกลับบ้าน

ผมว่านี่แหละศาสตร์ใหม่ที่ คนเรียนวิทย์ควรศึกษาไว้ จะได้ไม่ต้องอยู่ในกรอบของวิชา DBMS อันน่าเบื่อ แล้วถ้าใครรู้เรื่องพวกนี้อนาคตรวยแน่ อีกอย่าง มันจะได้ดูเป็นวิทย์คอมหน่อย

ปล. ตอนนี้เพิ่งเทส cassandra ไป ค่อนข้างแจ่มแต่ก็ใช้เวลาทำความเข้าใจพอสมควร แล้วมันก็ไม่ึครอบคลุมความต้องการทั้งหมด

ปล.2 อย่าใช้คำว่าเลิกใช้ MySQL ดีกว่าครับ ยังไงมันก็เลิกไม่ได้หรอก Relational DB มันยังจำเป็น เพียงแต่ระบบ Friend แล้วก็ระบบ Inbox เท่านั้นแหละที่จะถูกเปลี่ยนไปใช้ Cassandra เพราะถ้าลองมาจับดูจะรู้เลยว่าการ Query ข้อมูลตาม Criteria (WHERE xx=yy and aa=bb) ทำได้ยากมาก Cassandra เหมาะกับระบบ friend และ พวก tweet มากกว่าครับ ใช้ทั้งระบบไม่เวิร์กเท่าไหร่

vittee Thu, 25/02/2010 - 10:20

เห็นด้วยครับ เคยจะเอามาใช้เหมือนกัน แต่ผมว่ามันเหมาะกับงานบางอย่างเท่านั้นเอง ไม่เหมาะกับงานที่ต้องทำ relate ข้อมูลกันเท่าไหร่นัก
ประกอบกับมันใช้เวลาในการเรียนรู้ค่อนข้างมาก (เพราะเป็นของใหม่ แนวคิดที่ไม่คุ้นเคย) ก็เลยตัดสินใจไปใช้แนวทางอื่นแทนครับ (ข้อมูลไม่มากเท่าไหร่)

way_cs16 Thu, 25/02/2010 - 12:11

ถามนิดนึงครับ ตอนเอามาใช้นี่ ใช้กับภาษาไหน ครับ Build ตัว Thrift ด้วยอะไร ทำยากไหม กว่าผมจะทำ client .net ได้ นานมากเลย

shikima Thu, 25/02/2010 - 10:18

อยากรู้ว่า
*SQL มันรับการ query หนักๆ ไม่ไหวเหรอครับ ถึงต้องได้เปลี่ยนไปใช้แบบอื่น
ผมไม่เคยทำฐานข้อมูลใหญ่ๆ ที่ query พร้อมๆ กันหลายๆ คนน่ะครับ

pittaya Thu, 25/02/2010 - 10:27

มันเป็นการยอมแลก feature บางอย่างของ database เพื่อให้ได้ประสิทธิภาพในงานเฉพาะอย่างที่ดีขึ้นครับ

จริงๆ แล้วอย่าง MySQL ก็สามารถรับโหลดได้จำนวนมากนะ แต่ต้องทำอะไรกับมันหลายอย่างเหมือนกัน ปัจจุบันเว็บอย่าง Flickr ก็ยังใช้ MySQL อยู่ และยังไม่มีแผนจะเปลี่ยนไปใช้พวก NoSQL พวกนี้

rattananen Thu, 25/02/2010 - 15:04

คุณ lew เข้าใจคำว่า relation ในเชิง Database ผิดแล้วครับ
คำว่า relation ในเชิง Database หมายถึง table ครับ
เพราะฉะนั้นใช้ MySQL แล้วไม่มี relation เป็นไปไม่ได้ครับ

ถ้าคุณจะหมายถึงความสัมพันธ์ระหว่าง table นั้น เรียกว่า integrity ครับ

นี้เป็นศัพท์เทคนิคของ database ครับถึงเปิด dictionary ไปก็ไม่ได้ความหมายที่ถูกต้องในเชิง database ครับ

way_cs16 Thu, 25/02/2010 - 21:12

-*-
ผมเข้าใจคุณ lew นะครับ คำว่าไม่มี relation ในความหมายนั้นคือ ไม่ต้อง join อะไรทั้งสิ้น ไอ้เรื่อง normalization 1-5 อะไรพวกนั้นโยนทิ้งไป เก็บข้อมูลเต็มๆ พวก lookup table อย่าง province city sex occupation ก็ไปเก็บเป็น static ที่แอ๊พแทน

เวลาจะใช้งานก็ใช้ Select from table เดียวเท่านั้น ห้าม join หรือ where cross ส่วนการเก็บข้อมูลจากเดิม สมมติ Customer ปกติเราเก็บรวมที่ตารางเดียว แต่เกิดมี customer มากกว่า 5 ล้าน records เราก็แบ่งซอย table เป็นหลายๆอันเช่น Customer_1 Customer_2 ถามว่าถ้าคุณซอย table แบบนี้ SQL มันจะจอยทำงานยังไง แล้วมี Algorithm ให้ จัดสรรข้อมูลแต่ละ record ลงตารางไหน

นี่คือสิ่งที่มหาลัยไม่เคยสอนครับ อาจารย์ทำพวกนี้เป็นไม่กี่คนหรอก

ถ้ามัวแต่ไปอิงวิชาการ เสียดายสมองครับเอาเวลาสมองไปคิดตาม "common sense" ในการออกแบบดีกว่า จะได้ไม่ต้องมัวพะวงแต่กฏของ RDBMS

rattananen Thu, 25/02/2010 - 22:08

ผมต้องการจะบอกว่าคำว่า relational database = table database relation = table relation != ความสัมพันธ์ระหว่าง attribute/field ของ relation/table ความสัมพันธ์ระหว่าง attribute/field ของ relation/table = integrity

MySQL เป็น RDBMS ฉะนั้นการที่ RDBMS ไม่มี relation/table มันเป็นไปไม่ได้ครับ

way_cs16 Thu, 25/02/2010 - 23:03

ครับๆ งั้นสมัยก่อนพวก Dbase ที่มันเก็บเป็นตารางมันก็เป็น RDBMS หมดเลยเหรอครับ ก็เห็นมันเก็บเป็น ตารางมาแต่ไหนแต่ไร
"relational database = table database" ก่อนมี RDBMS มันก็มี filesystem มันก็เก็บในรูปแบบกึ่งตารางมาแต่ไหนแต่ไรแล้วนิครับ งั้นอะไรที่มันเก็บเป็น Table มัน = Relation หมดเลยเหรอเนี่ย เพิ่งจะรู้นะครับเนี่ย
อ่านมาจากตำราไหนหว่า หรือสอนอยู่ที่ไหนหว่า

ฉะนั้นการที่ RDBMS ไม่มี relation/table ผมยืนยันว่าเป็นไปได้ มันเป็นแค่เครื่องมือผมอยากใช้มันทำอะไรก็ได้ ทั้ง DB มี Table เดียว มี 2 Column ผมก็ทำได้ครับ

rattananen Fri, 26/02/2010 - 00:07

http://en.wikipedia.org/wiki/Relational_database#Terminology

ลองดูครับ ถ้าความสัมพันธ์ระหว่าง field หรืออีกชื่อหนึ่ง attribute
จะเรียกว่า integrity หรือเรียกว่า Relationship ครับ

ถ้าคนไม่ได้เรียกด้าน database มาส่วนมากจะเข้าใจว่าคำว่า Relation ใน database
คือ ถ้าความสัมพันธ์ระหว่าง field ครับ

ที่มันสามารถเรียกได้หลายอย่างเพราะว่าการ design มันมีหลายระดับครับและแต่ละระดับยังจะมีแยกอีก

way_cs16 Fri, 26/02/2010 - 00:25

โอเคเข้าใจละครับ ถ้าข้อมูลไม่อยู่ในกลุ่มเดียวกันมันอยู่ตารางเดียวกันไม่ได้ มันเลยสัมพันธ์กันทั้งหมด
แต่พวก NOSQL มันไม่ต้องสัมพันธ์กันเลย แต่ละ row อาจจะมี จำนวน column ไม่เท่ากันก็ได้
แต่พวก RDBMS มันต้องมี column ที่แน่นอน จำนวนเท่ากันหมด

ปล. ดีใจที่ไม่ตั้งใจเรียวิชานี้จะได้ลืมง่ายๆ แหะๆ

mk Thu, 25/02/2010 - 11:41

overhead มันสูงน่ะครับ คือ SQL มันออกแบบมาสำหรับงานทั่วๆ ไป ทีนี้พอใช้ทำงานเฉพาะบางอย่าง มันก็เกินความต้องการไปหน่อย

mednoon Thu, 25/02/2010 - 21:56

ตัว SQL PARSER ไมไช่ตัวปัญหาครับยังไงมันก็ทำงาน ตัวที่เป็นปัญหาคือ HARDDISK เขียน / อ่าน ข้อมูลไม่ทัน เกิดคิวรอยาวเป็นหางว่าว นั่นคือปัญหาของ DATABASE ขนาดใหญ่ที่แท้จริง

way_cs16 Thu, 25/02/2010 - 22:00

NOSQL หลักๆแตะ Disk น้อยมากเลยพี่โหน่ง ทำงานแทบจะใน memory ทั้งหมด แล้ว Write ของ Cassandra เร็วกว่า Disk เยอะมาก แถมมันขยายออกแนวกว้างได้เยอะกว่า (horizontal) แค่เพิ่มเครื่อง ลงโปรแกรม แล้วรันได้เลย มันง่ายกว่า RDBMS เยอะแถมฟรีอีก

way_cs16 Thu, 25/02/2010 - 23:04

ต้องมีงานอะพี่มันถึงจะเข้าใจ อยู่ดีๆให้ผมมานั่งอ่านผมก็งงเหมือนกัน พอดีมันมีเคสต้องใช้อะครับ

rattananen Fri, 26/02/2010 - 00:59

ออกแบบ database ดีๆจะไม่เกิด overhead เลยครับ
แต่ถึงอย่างไรผมว่ามันก็ไม่ใช้ประเด็นหลักที่ทำให้ SQL มันช้าครับ
overhead แค่ทำให้ database มีขนาดใหญ่โดยไม่จำเป็นครับ

ผมว่าที่มันช้าเพราะมันใช้การ access แบบ sequential มากกว่าครับ
ถึงจะเป็น index ก็ตามการ access ของ index บางส่วนยังเป็น sequence อยู่ครับ

แต่ก็แก้โดยการออกแบบ database ได้อยู่ดี

chaba_bkk Mon, 08/03/2010 - 15:44

5555

ไม่เสมอไปหรอกครับ มีเงิน ซื้อ Server แพง ๆ ซื้อโปรแกรมแพง ๆ แต่ไม่เคยได้ใช้ความสามารถให้เต็มที่ มันก็เท่านั้นแหละครับ

way_cs16 Thu, 25/02/2010 - 21:14

จริงๆเรื่อง NOSQL มันเก่ากว่า RDMBS นะครับ

ถ้ามีน้องๆคนไหนสงสัยว่า วิชา Data Structure เรียนไปทำไมมากมาย มาเจอพวกนี้แล้วจะเข้าใจ
B-Three, Hashmap, Heap, Dictionary, ฯลฯ

lew Thu, 25/02/2010 - 23:43

สมัย IBM เข็น SQL ใหม่ๆ ลูกค้าก็บ่นช้าเป็นห่างว่าวครับ

แล้วเครื่องก็เร็วขึ้นๆๆๆ มันก็พอไปวัดไปวาได้พักนึง (เป็นสิบปีเหมือนกันนะ) แต่ทุกวันนี้เจอ massive query เข้าไป RDBMS ก็ไปต่อยากเอาเหมือนกัน

way_cs16 Thu, 25/02/2010 - 23:54

ผมว่าเรื่องนี้สนุกดีครับพอได้จับจริง เหมือนได้เป็น pioneer ให้ไปทำ RDBMS เหมือนเดิมผมว่าสู้รุ่นน้องๆไม่ได้ละ หนีมาด้านนี้ดีกว่า

mk Fri, 26/02/2010 - 06:26

ผมเคยอ่านเปเปอร์ของ BigTable นี่มันส์มากเลยครับ คือเค้ารู้ว่าจะออกแบบมาเพื่อทำอะไร (ข้อมูลมหาศาลบนคลัสเตอร์ของกูเกิลที่มี 3 ก็อปปี้) แล้วก็อัดให้ throughput มันสูงๆ อย่างเดียวเลย

way_cs16 Fri, 26/02/2010 - 13:05

มันจริงครับ แค่จะ build client ให้ผ่านก็ปาไปสองวันสองคืนแล้วครับ แต่พอใช้จริงๆไม่ยากไปยากตรง Design มากกว่า ว่าโครงสร้างแบบนี้มันเหมาะกับอะไรผมว่า คุณ mk เล่น cassandra น่าจะมันกว่า BigTable นะเพราะมันรวมเอาทั้ง Dinamo กับ BigTable ไว้ด้วยกัน

bow_der_kleine Fri, 26/02/2010 - 07:22

ช่วงสองสามเดือนที่ผ่านมา ผมศึกษาเรื่องนี้พอดีเลย เพราะเริ่มเห็นปัญหา และช่องทางเหมือนกัน

โครงสร้างพื้นฐานของฐานข้อมูลตอนนี้ (เท่าที่ผมศึกษาคือ MySQL, PostgreSQL แล้วก็ SQLite) มันไม่ได้รองรับจำนวน record มากขนาดนั้นครับ พอ query ทีมันเลยกินเวลาค่อนข้างมาก ปัญหามันอยู่ในระดับ infrastructure การแก้ปัญหาจึงไม่ใช่เรื่องง่าย (เหมือนเขียนฐานข้อมูลใหม่) และยังมีปัญหาอื่น ๆ ที่น่าสนใจอีกมากมาย ผมคิดเหมือนกันครับว่า อาจมาถึงยุคที่เราต้องการ innovation ใหม่ ๆ เกี่ยวกับฐานข้อมูลอีกครั้ง