High Performance Computing

จากที่ทราบกันดีว่า Facebook ได้ประกาศเปิดตัว Facebook Messages โฉมใหม่ กันไปแล้ว

รายละเอียดการพัฒนาและการทำงานเบื้องหลังของระบบนี้ก็มีสิ่งที่น่าสนใจอยู่ไม่น้อยเหมือนกัน Facebook ได้อธิบายสถาปัตยกรรมนี้ไว้บนบล็อกทางด้านวิศวกรรมของบริษัท

เนื้อหาโดยสรุปคือ

  • ระบบปัจจุบันมีการส่ง Messages ทั้งหมดกว่า 15,000 ล้านครั้งต่อเดือน และมีข้อความสนทนา (chat) กว่า 120,000 ล้านข้อความต่อเดือน จากผู้ใช้ของ Facebook กว่า 350 ล้านคน
  • จากการวิเคราะห์ของ Facebook พบว่าข้อมูลเหล่านี้ลักษณะสำคัญสองประการคือ 1) เป็นชุดข้อมูลทางกายภาพสั้น ๆ ที่คาดเดาไม่ได้ (สำหรับข้อแรกนี้ ขอยอมรับว่าแปลไม่ค่อยถูกจริง ๆ ผู้ใดเข้าใจถ่องแท้ช่วยเข้ามาแปลเพิ่มเติมละกันนะครับ ผมเองก็อยากรู้เหมือนกัน) และ 2) ข้อมูลที่ไม่ถูกเรียกใช้ซ้ำมีจำนวนมากขึ้นเรื่อย ๆ ซึ่งเป็นโจทย์สำคัญในการคิดหาวิธีเก็บข้อมูลที่มีประสิทธิภาพที่สุด ตามคุณลักษณะทั้งสองนี้
  • ระบบคลัสเตอร์ฐานข้อมูลที่ Facebook เลือกมาทดสอบได้แก่ MySQL, Apache Cassandra, และ Apache HBase ผลออกมาว่า Hbase ได้รับเลือก ซึ่งจริง ๆ แล้ว Facebook ก็หนักใจพอสมควรเพราะ Cassandra นี้ก็เป็นระบบที่ Facebook สร้างขึ้นมากับมือ ส่วน MySQL ก็เป็นระบบที่พนักงานมีความชำนาญอยู่แล้ว แต่เนื่องจาก Hbase มีคุณสมบัติและให้ประสิทธิภาพที่ดีกว่าตามคุณลักษณะสองประการดังกล่าว จึงตัดสินใจเลือก Hbase
  • เนื่องจากว่าระบบ Messages ตัวใหม่นี้ต้องติดต่อกับบริการที่หลากหลาย ทั้ง SMS และอีเมล Facebook จึงตัดสินใจเขียนเซิร์ฟเวอร์ขึ้นมาใหม่เองเลยแทนที่จะใช้โครงสร้างของเว็บเซิร์ฟเวอร์ทั้ว ๆ ไป โดยใช้เทคโนโลยีที่สำคัญคือ Haystack และ Apache Zookeeper

ที่มา - Facebook Engineering's Notes

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

ข้อ 1) แปลยากจริงๆครับ น่าจะหมายถึง ข้อมูลขนาดเล็กที่อายุสั้นและมีแนวโนมว่าจะไม่ได้รับความสนใจ คือ เกิดขึ้นมาแล้วก็หยุดแค่นั้น ประโยคเขาใช้คำว่า temporal กับ volatile แต่ถ้าคิดตามการประมวลผลทางสายนี้ สองคำนี้ความหมายจะออกไปในทางเดียวกัน คือ มาแล้วก็ไป (มาเร็วไปเร็ว) ส่วนข้อ 2) ผมเข้าใจแบบคุณ Ich คือ ข้อมูลที่เคยโตขึ้นเรื่อยๆ แต่ต่อมาไม่ได้รับความสนใจ (อาจจะเหมือนกับพวก Ads บางตัว หรือหัวข้อที่เคยดังแต่ต่อมาล้าสมัย) ต่างจากข้อ 1) ที่เกิดมาแล้วก็หยุดเท่านั้น เหมือนบอกเล่าทั่วๆไป (คล้าย tweet ที่ไร้ RT)

ผมแปลได้กลับกันนะครับ คือ

  1. กลุ่มที่เป็นประเด็นในช่วงหนึ่งๆ (นึกถึงข่าวดารามีลูก แล้วก็เปลี่ยนเป็นข่าวน้ำท่วม) กลุ่มนี้มีอยู่ไม่เยอะ แล้วก็เปลี่ยนไปเรื่อยๆ กลุ่มนี้จะถูกเปิดดูบ่อย
  2. กลุ่มที่ไม่ค่อยมีใครเข้าไปดู ก็คือกลุ่มแรกที่คนเลิกสนใจไปแล้ว กับพวกที่ไม่เคยเข้าไปอยู่ในกลุ่มแรกเลย

เพิ่ม
ตัวอย่างกลุ่มแรก ข่าวหน้าแรก blognone
กลุ่มสอง ข่าวเก่าๆ

ด้วยความข้องใจ เลยลองค้นหาดู ก็เลยพบสิ่งที่อาจจะเป็นคำตอบก็ได้นะครับ ลองดูกันครับ

ข้อแรกนั้น ประโยคเต็มคือ A short set of temporal data that tends to be volatile.

จากที่ผมแปลแต่แรก ผมก็คิดว่าคำที่น่าสนใจก็คือคำว่า temporal กับ volatile

  • volatile คิดว่าเห็นตรงกันว่าน่าจะแปลว่า ที่เปลี่ยนแปลงบ่อย ๆ และคาดเดายาก (likely to change suddenly and unexpectedly) ซึ่งก็เข้ากับการนำมาใช้กัน volatile / non-volatile memory - volatile memory มีการเปลี่ยนแปลงข้อมูลบ่อย ๆ ต้องใช้ไฟเลี้ยง, non-volatile memory ก็คงไม่เปลี่ยนหรือใช้งานบ่อย ๆ ก็เลยใช้เรียกพวก secondary storage ทั้งหลาย ดังนั้นคำนี้ ผ่าน ครับ

  • temporal คำนี้เป็นคำหลักที่แปลไม่ออก ถึงรู้สึกเหมือนว่าจะแปลออก แต่ก็ไม่เข้าใจ เลยข้องใจมาก คำนี้น่าแปลกตรงที่ว่า ผมก็คิดว่าแปลประมาณเดียวกับ temporary - ชั่วคราว แต่พอตรวจสอบดู ทั้ง cambridge กับ oxford ให้ผลเหมือนกันว่าไม่ได้แปลว่าชั่วคราว แต่แปลออกแนวว่าเป็นเรื่องเกี่ยวกับทางกายภาพ จับต้องได้ มากกว่าเป็นพวกทางจิตใจ หรือ จิตวิญญาณ (relating to practical matters or physical things, rather than spiritual ones) แต่ oxford ก็มีให้ดูว่าทั้ง temporal และ temporary มาจากรากศัพท์เดียวกันคือคำว่า Time - เวลา

  • ถ้าไปในความหมายเกี่ยวกับทางกายภาพนี้ คำว่า temporal data ก็น่าจะแปลว่า data จริง ๆ ตัวเป็น ๆ จับต้องได้ ผมก็เลยฉงนต่อว่า แล้ว data ที่มันไม่เป็นทางกายภาพแท้ ๆ เนี่ย มันเป็นประมาณไหน

  • ผมเลยลองหาคำว่า temporal data ดู โอ้โฮ มีแฮะ มีความหมายเฉพาะตัวซะด้วย โดยแปลว่า Temporal data is data that represents a state in time. (อันนี้ผมก็เลือก ๆ มา อาจจะไม่ถูกต้องที่สุด แต่คิดว่าอ่านง่ายสุด) ซึ่งก็คือ ข้อมูลที่มีเวลากำกับ หรือ ข้อมูลที่มีเวลาเป็นเรื่องสำคัญ เวลาที่เชื่อมโยงกับข้อมูลนั้นจะเป็นตัวระบุว่าข้อมูลนั้น valid หรือไม่ ผลการค้นหาพบว่ามีคำว่า tempoal database ออกมามากพอสมควร ซึ่งเกี่ยวข้องกันโดยตรงมาก ถ้าลองอ่านที่ wikipedia จะทำให้เข้าใจได้มากเลยทีเดียวครับ ลองอ่านตรง example ที่เค้ายกตัวอย่าง John Doe ดูครับ อ่านแล้วเข้าใจอย่างแรง ผมก็เพิ่งรู้จัก temporal database นี่แหละ :-) (และก็สงสัยเหมือนกันว่าทำไมเรายังใข้ non-temporal database กันอยู่) (อย่างไรก็ตาม ก็แปลคนละเรื่องกับคำว่า temporal เฉย ๆ ตาม cambridge และ oxford ซะงั้น)

  • กลับมาที่ facebook คำแปลที่ว่าข้อมูลที่มีเวลาเป็นสำคัญ ก็เลยฟัง make sense ขึ้นมาทันที เพราะเป็นข้อมูลจำพวก chat, sms, messages ทั้งหลาย ซึ่งธรรมชาติของข้อมูลเหล่านี้ ก็ต้องแสดงตามลำดับเวลาเป็นสำคัญ ใครทำอะไรเมื่อไร ใครทำก่อนหลัง ใครพูดก่อนพูดหลัง ถ้าลำดับผิดก็จะเกิดความสับสนทันที (ข้อมูลที่เวลาไม่ใช่เรื่องสำคัญมาก ก็อาจจะเป็นพวกหน้าเวบ หรือ FTP เป็นต้นนะครับ)

แค่คิดว่าต้องจัดการข้อมูลโดยมีเวลาเป็นปัจจัยสำคัญด้วยเนี่ย ผมก็คิดว่าต้องรื้อสิ่งที่เคยทำ ๆ มาหลายอย่างเลย ยิ่งถ้าคิดว่าเป็นการจัดการข้อมูลระดับแสนล้านครั้งต่อเดือน แค่คิดยังเหนื่อยแทน

ข้อหนึ่งน่าจะแปลว่า ข้อมูลชั่วคราวความยาวสั้นๆที่หมดความสำคัญเกือบจะทันที(อย่างรวดเร็ว?) นะครับ

ในทีนี้น่าจะหมายถึงพวกข้อมูลการส่งข้อความคุยกันในขณะนั้นเลยเช่นพวก "เที่ยงนี้ไปกินข้าวกัน" "ok" ใช้แล้วจบเลย ทำนองนั้น

กำลังคิดอยู่ว่า ถ้าจะบอกได้ก็แปลว่าต้องดูข้อมูลการใช้ของ user สิ - -a

แต่ไม่คิดว่าจะเลิกใช้ แคสซานดร้า เอาดื้อๆแฮะ

ที่บอกได้ผมว่าน่าจะแค่เก็บสถิติการเปิดดูข้อมูลอย่างเดียวนะครับ นั่งเปิดดูหมดคงไม่ไหว แถมจะมีเรื่องอีกตะหาก

bow_der_kleine Wed, 17/11/2010 - 04:01

eventual consistency ไม่เวิร์คสินะ ถึงได้เปลี่ยนใจมาใช้ HBase แทนที่จะเป็น Cassandra