ไอ้ที่เค้าว่ามันเร็วนักเร็วหนาเนี่ย(ฝรั่งใช้คำว่า blazing fast) มันเร็วกว่ากันซักขนาดไหนเชียวครับ
สมมติมีระบบนึง บ้านๆเลย มีการใช้งานทั้งวัน แต่คนใช้หลักสิบ-ร้อยต้นๆประมาณนี้ แบบนี้เร็วกว่า RDB แบบเดิมๆไหม?
แล้วสมมติว่ามันเร็วกว่าจริง การที่ต้องกระเสือกกระสนไปวางไว้ที่โฮสตปท. มันจะคุ้มค่าไหมกับความเร็วที่ได้
ไม่ได้หมายความว่าจะไปแทนที่ RDB 100% นะครับ เอาไปแทนที่ส่วนที่มันควรจะเป็น เช่น log
หมายถึงบางคำสั้งของ Redis
ultimateohm Thu, 12/07/2012 - 14:46
หมายถึงบางคำสั้งของ Redis มันใช้เวลาทำงาน O(1) หรือเปล่าครับ
http://redis.io/commands/get
ในการสืบค้นถ้ามี rows เพิ่มมาใน table ไม่ทำให้เวลาใรการสืบค้นเพิ่มขึ้น
ถ้า RDS สืบค้นใช้เวลา O(n) หรือ O(log(n)) ถ้ามี index ถ้า rows ใน tables มีเยอะๆ Redis ก็น่าจะเร็วกว่านะครับ
ถ้าวางโฮต์ที่ตปท อาจต้องคำนึงถึง latency ที่ไปถึงด้วยนะครับ
จะตอบในประเด็นนี้นะครับ ->
Invisible Force Thu, 12/07/2012 - 16:53
จะตอบในประเด็นนี้นะครับ -> "ไอ้ที่เค้าว่ามันเร็วนักเร็วหนาเนี่ย(ฝรั่งใช้คำว่า blazing fast) มันเร็วกว่ากันซักขนาดไหนเชียวครับ"
ถ้าใช้งานเพียงเล็กน้อย (คือ ข้อมูลมีน้อยหลักร้อยหลักพันรายการ หรือ ปริมาณคนใช้งานต่อวินาทีน้อยเช่นหลัก 10 คนต่อวินาที) .. จะไม่ค่อยเห็นความแตกต่างชัดเจนครับ จะเห็นแค่เร็วกว่าแว๊บๆ
แต่ถ้ามีการใช้งานมาก เช่น ข้อมูลมีหลักล้านขึ้นไป จะเริ่มเห็นชัดมากระหว่าง การดึงข้อมูลผ่านการ RDB จะช้ากว่า Memory Storage.. (RDB ช้ากว่าแบบรอกระดิกนิ้วเท้าหลายวินาทียังไม่เสร็จเลย) ผมเคยวัดแล้วมันอยู่ที่ 10 - 100 เท่าครับ (ขึ้นอยู่อีกว่าเป็นการ read หรือ write)
จากประสบการณ์ส่วนตัวนะครับ เคยลดเวลาการประมวลผลจาก 1 วัน เหลือ 1 นาทีครับ ทั้งนี้ต้องออกแบบ Data Structure ใหม่หมดด้วย
1 วันเป็น 1 นาทีนี่ rdb กับ
ellipsis Fri, 13/07/2012 - 00:49
In reply to จะตอบในประเด็นนี้นะครับ -> by Invisible Force
1 วันเป็น 1 นาทีนี่ rdb กับ oodb เหรอครับ
"การที่ต้องกระเสือกกระสนไปวาง
lew Thu, 12/07/2012 - 16:53
"การที่ต้องกระเสือกกระสนไปวางไว้ที่โฮสตปท."
คุณจะยิง log ผ่านอินเทอร์เน็ต????
แหมก็เป็นแค่ตัวอย่างที่ยกมาเท
ellipsis Fri, 13/07/2012 - 00:38
In reply to "การที่ต้องกระเสือกกระสนไปวาง by lew
แหมก็เป็นแค่ตัวอย่างที่ยกมาเท่านั้นเอง
ลองนึกถึงระบบอะไรก็ได้ที่จำเป็นจะต้องมีการรวม log ไว้ตรงกลางนะครับ
ประมาณนั้น
ถ้าแค่เก็บ log
lew Fri, 13/07/2012 - 12:14
In reply to แหมก็เป็นแค่ตัวอย่างที่ยกมาเท by ellipsis
ถ้าแค่เก็บ log มีประเด็นอะไรถึงไม่ใช้ syslog ล่ะครับ?
ด้วยความเคารพนะครับคุณลิ่ว
ellipsis Fri, 13/07/2012 - 14:52
In reply to ถ้าแค่เก็บ log by lew
ด้วยความเคารพนะครับคุณลิ่ว ประเด็นของผมในกระทู้นี้คือ redis ความเร็วและความจำเป็นครับ ไม่ใช่การแก้ปัญหาการเก็บ log ผมอาจพลาดอะไรไปบ้างไปจี้โดนจุดคุณเข้า(เพราะคุณทำ sysadmin อยู่)
ผมไม่ได้กำลังมีปัญหาใดๆ หรือกำลังจับงานใหญ่อยู่แล้วเจอตอ ผมแค่คิดว่า oodb มันน่าสนใจดีเลยหาอ่าน blog ฝรั่งไปเรื่อยในช่วงหลายวันมานี้ ยิ่งการได้มา discuss กันในภาษาไทยยิ่งดีใหญ่
มาเจอแบบนี้ก็ตามไม่ทันเหมือนกันครับ
Another Redis use case: Centralized logging
สังเกตคอมเม้นในบล๊อกนี้เค้าก็แนะให้ไป rsyslog เหมือนกัน(ไม่รู้เป็ญาติทางไหนของ syslog ฮาา)
ไม่ใช่จี้โดนจุดหรอกครับ คุณ
PaPaSEK Fri, 13/07/2012 - 15:35
In reply to ด้วยความเคารพนะครับคุณลิ่ว by ellipsis
ไม่ใช่จี้โดนจุดหรอกครับ คุณ lew เค้าแค่งงเฉยๆ ว่าทำไมไม่ใช้ syslog
ซึ่งผมก็คิดว่าเข้าใจคุณ ellipsis นะ คือบางครั้งสิ่งที่เราถามมันเป็นการตั้งโจทย์ขึ้นมาเฉยๆ ซึ่งในความจริงมันอาจมี tool ที่ตรงกับสิ่งที่เราต้องการ
แต่เผอิญว่าเราอยากลองใช้เทคโนโลยีดู ... ผมเข้าใจถูกมั้ยครับ?
คือเดาเอานะ ... เพราะบางครั้งผมก็เป็นอาการแบบที่ว่า ... คือมันอยากลองใช้เทคโลโลยี
เคยทำเว็บไซต์มาที่นึง เดิมใช้
icez Thu, 12/07/2012 - 17:01
เคยทำเว็บไซต์มาที่นึง เดิมใช้ mysql เพียวๆ ต้องใช้ server 4 ตัว (master 1 slave 3) mysql qps ขึ้นอยู่ที่ราวๆ 10,000 qps (จาก 4 server)
หลังจากปรับโครงสร้างมาใช้คู่กับ redis รัน mysql ปกติ + redis 14 instance เอาไว้เก็บ data ที่เกือบๆ จะเป็น key value (search จาก part of key) แล้ว mysql เหลืออยู่ 500 qps เลยลด server เหลือแค่เครื่องเดียวสบายๆ ครับ
แต่ขึ้นกะโครงสร้าง code ของคุณด้วย ถ้าจะเก็บ log ผมว่า redis ไม่เหมาะหรอกครับ
พอจะบอกได้มั้ยครับ
PaPaSEK Fri, 13/07/2012 - 12:07
In reply to เคยทำเว็บไซต์มาที่นึง เดิมใช้ by icez
พอจะบอกได้มั้ยครับ ว่างานที่บอกอยู่อยู่ใน field ใด
ผมกำลังหา solution ใหม่ๆ อยู่ครับ
เป็นเว็บครับ
icez Sat, 14/07/2012 - 01:44
In reply to พอจะบอกได้มั้ยครับ by PaPaSEK
เป็นเว็บครับ แต่รูปแบบข้อมูลในเว็บเป็นกึ่งๆ (combined)key-value คือ ใช้ 2-3key ต่อกันแล้วดึง value เดียวออกมา (key1:key2:key3 => value) ประมาณนี้
บวกกับพวก counter ที่เดิมใช้ update table set value=value+1 where id=XXX ก็มาใช้ redis แล้วทำ async flush ลง mysql อีกที
แล้วก็กึ่งๆ feed + ทำ semi-persistent cache แทน memcache อีกอันครับ
ขอถามต่อนิดนึงครับ เว็บใช้ภาย
PaPaSEK Sat, 14/07/2012 - 10:05
In reply to เป็นเว็บครับ by icez
ขอถามต่อนิดนึงครับ
เว็บใช้ภายในบริษัท หรือภายนอกบริษัทครับ
ขออภัยที่ละลาบละล้วง ... ผมขอให้ข้อมูลส่วนตัวของผมเพื่อเป็นมารยาทที่ดีก่อนครับ
พอดีว่าผมทำงานอยู่ในโกดังสินค้า แล้วซอฟแวร์ที่ บ.ซื้อมา (เมื่อ 7 ปีก่อนผมเข้ามาทำงาน) มันใช้ Power Builder + Oracle 8 (Windows) ในการพัฒนา
คราวนี้ไปๆ มาๆ ข้อมูลเยอะ และ DB มันเริ่มช้ามาก ... จะให้รื้อซอร์สก็ไม่มีมาให้ ... ที่ทำได้คือ ต้องไปปรับปรุงประสิทธิภาพของ Oracle DB Server แทน
ผมเลยขออนุญาตถามลึกนิดนึงครับ ...
ปล. พอดีเคยมีคนแนะนำว่าให้ทำ cluster ... แต่ผมดันไม่มีความรู้ และทำไม่เป็น เลยต้องขอความรู้นิดนึงครับ
ถ้าไม่อยากปรับโครงสร้างข้อมูล
Invisible Force Sat, 14/07/2012 - 11:39
In reply to ขอถามต่อนิดนึงครับ เว็บใช้ภาย by PaPaSEK
ถ้าไม่อยากปรับโครงสร้างข้อมูล ผมขอเสนอให้ลองเทคโนโลยี hardware ตัวล่าสุด Fusion-io SSD over PCIe interface .. ที่เชิญ steve wozniak เป็น Chief Scientist .. ในประเทศไทยมีตัวแทนจำหน่ายแล้วคือ www.tangerine.co.th/fusion-io
แต่ถ้าอยากใช้มาตรฐานปกติ ก็ใช้ SANS Storage ขนาดใหญ่ครับ ผสมประสิทธิภาพของ MEMORY(ประมวลผล+ข้อมูลที่ใช้บ่อยมาก), SSD(cache ข้อมูลที่ใช้บ่อย), DISK(เก็บข้อมูลได้มาก)
Good Information from Real
Invisible Force Fri, 13/07/2012 - 16:11
In reply to เคยทำเว็บไซต์มาที่นึง เดิมใช้ by icez
Good Information from Real Experience ! ชอบครับ
server 4 ตัว (master 1 slave 3) mysql qps ขึ้นอยู่ที่ราวๆ 10,000 qps (จาก 4 server)
แสดงว่า slave 3 ใช้รับโหลดหลักตอนดึง .. ลองพิจาณาลงไปอีก 10,000-500 ก็ให้ประมาณ 10,000 นั้นแหละ ต่อ 3 เครื่องที่ใช้รับโหลดหลัก แสดงว่า เครื่องหนึ่งน่าจะรับได้ 4000-5000 qps โดยปกติ
ทั้งนี้ยังไม่ทราบว่าเครื่องนี้ใช้ CPU กี่ Core, memory กี่ GB
เปลี่ยนมาใช้ Redis, .. Redis ทำให้เครื่องเพิ่มประสิทธิภาพได้สมมุติให้แค่ 50 เท่า .. ก็ถ้า 10,000 qps ก็จะเทียบเท่า 200 qps for on mysql server ซึ่งสบายๆ เลย .. ยังรับได้อีกบาน
ผมเองก็จำรายละเอียดไม่ได้แล้ว
icez Sat, 14/07/2012 - 02:00
In reply to Good Information from Real by Invisible Force
ผมเองก็จำรายละเอียดไม่ได้แล้วสิ พอดีเปลี่ยนมาปีกว่าแล้ว บน master ถ้าจำไม่ผิดมันราวๆ 1200qps (replicate ไปที่ 3 slave ด้วย รวมแล้วก็เฉียดๆ 5000qps) ก็ตกว่า slave ตัวนึงรับ query ราวๆ 3000 qps ล่ะครับ
spec เครื่อง slave ก็ quadcore ram 8gb 2 ตัว อีกตัวนึง dual quadcore ram 16gb / ยัด ssd ทุกเครื่อง
ส่วน server เดี่ยวๆ ที่รันตอนนี้ ram 32GB cpu dual quadcore (ก็ไอ้ slave ที่ว่า จับมาอัพแรมให้ redis สวาปามเฉยๆ)