Yahoo! เปิดซอร์ส Yahoo! Hadoop

By mk Founder on Tag: Open Source, Yahoo!, High Performance Computing, Hadoop
Open Source

เคล็ดลับความว่องไวในการค้นหาผ่านกูเกิลคือระบบคอมพิวเตอร์สมรรถนะสูง ซึ่งประกอบด้วยเทคโนโลยีหลายตัวอย่าง MapReduce หรือ GFS แน่นอนว่ากูเกิลเก็บไว้ใช้เองคนเดียว อย่างไรก็ตามมีคนเขียนโปรแกรมที่ทำงานลักษณะเดียวกันออกมา (โดยดูจากเปเปอร์ของกูเกิล) ชื่อว่า Hadoop ซึ่งปัจจุบันอยู่ใต้โครงการ Apache ผมทราบมาบ้างว่าคนแถวๆ นี้ก็เล่น Hadoop กันอยู่หลายคน

Yahoo! เป็นหนึ่งในผู้ใช้ Hadoop รายใหญ่ของโลก (Facebook กับ IBM ก็ใช้) อาจเป็นเพราะต้องไล่กูเกิลให้ทันในเรื่องสมรรถนะ แต่อีกเหตุผลก็คือ Doug Cutting นักพัฒนาหลักของ Hadoop (รวมถึง Lucene และ Nutch) ปัจจุบันมาทำงานกับ Yahoo!

ล่าสุด Yahoo! ประกาศแจกซอร์สโค้ดของ Hadoop เวอร์ชันที่ใช้ภายในบริษัทแล้ว (ใต้ชื่อ Yahoo! Distribution of Hadoop) โดย Yahoo! Hadoop ก็มีแพตช์ต่างๆ เพิ่มมาจาก Apache Hadoop ซึ่ง Yahoo! อ้างว่าได้ปรับปรุงประสิทธิภาพ เสถียรภาพเพิ่มขึ้นมาอีกมาก

Yahoo! Distribution of Hadoop ใช้สัญญาอนุญาตแบบโอเพนซอร์สเหมือนกับ Apache Hadoop ดังนั้นแพตช์ทั้งหลายก็สามารถกลับเข้า Hadoop หลักได้ง่าย

ที่มา - Yahoo! Developer Network Blog

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
 Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
 KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
 Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
 Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
 Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
 Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
 CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
 Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
 Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
 CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
 Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
 MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
 T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
 KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
 Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
 Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
 REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
 H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
 The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
 LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
 Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
 Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
 MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
 Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
 LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
 LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

mk Thu, 11/06/2009 - 19:42

บางทีต้นทางเค้าไม่รับครับ อาจจะมีแนวทางที่ไม่ตรงกัน

ตัวอย่างคล้ายๆ กันนี้คือ Novell ที่กินเกาเหลากับ Sun เรื่อง OpenOffice ก็เลยมีโครงการ Go OOo ที่เป็น OOo เวอร์ชันรวมแพตช์ Novell ออกมา

nontster Fri, 12/06/2009 - 10:11

เค้าส่งเข้าไปแล้วนะครับ
http://github.com/yahoo/hadoop/blob/54428cc8dd437b4de9efe070e777023ec171a498/YAHOO-CHANGES.txt

ที่เหลือก็อยู่ที่ต้นทางแล้วล่ะว่าจะเอาเข้าไปรวมหรือไม่ จะเลือก patch ของใคร ก็เหมือนที่ mk บอกไว้ครับ

SilliCon Thu, 11/06/2009 - 11:13

เพิ่งเคยได้ยินชื่อนี้ครั้งแรก แล้ว Apache Hadoop แตกต่างจาก Apache ธรรมดาตรงไหนครับ

icez Thu, 11/06/2009 - 21:42

Apache เองจริงๆ เป็นชื่อโครงการ opensource software หลายตัวเลยครับ
อย่าง Apache Ant นี่ก็ใช่
SpamAssassin ก็อยู่ใน project apache เหมือนกัน

ส่วนถ้าเข้าใจคำว่า Apache เป็น Web Server มันคือ Apache HTTPD (หรือ Apache Web Server) ครับ

nontster Thu, 11/06/2009 - 15:44

เลิกยุ่งกับ Hadoop มาสักพักแล้วครับ เนื่องจากงานที่เคยคิดว่าจะเอามาใช้มันเป็นแบบ Realtime ไว้เก็บไฟล์เล็กๆจำนวนมาก ซึ่ง HDFS ของ Hadoop ไม่ได้ถูกออกแบบมาเพื่องานแบบนี้ มันเหมาะกับงานแบบ batch ที่ต้อง process ไฟล์ขนาดใหญ่มากๆอย่างพวก log file ซึ่งใช้ร่วมกับ MapReduce มันถึงเหมาะกับ search engine ซึ่งมีข้อมูลขนาดใหญ่มากๆ ถ้าใครอยากทำบริการพวก log management/analysis ผมว่า Hadoop น่าสนใจมากเลย

มีคนบอกว่างานแบบของผมให้ใช้ Cassandra แทน :)
ปล. Cassandra นี่ของ Facebook นะครับ ในขณะที่ Facebook ก็ใช้ Hadoop สำหรับงานบางประเภท