on 11/06/09 7:57
Tags:
เคล็ดลับความว่องไวในการค้นหาผ่านกูเกิลคือระบบคอมพิวเตอร์สมรรถนะสูง ซึ่งประกอบด้วยเทคโนโลยีหลายตัวอย่าง MapReduce หรือ GFS แน่นอนว่ากูเกิลเก็บไว้ใช้เองคนเดียว อย่างไรก็ตามมีคนเขียนโปรแกรมที่ทำงานลักษณะเดียวกันออกมา (โดยดูจากเปเปอร์ของกูเกิล) ชื่อว่า Hadoop ซึ่งปัจจุบันอยู่ใต้โครงการ Apache ผมทราบมาบ้างว่าคนแถวๆ นี้ก็เล่น Hadoop กันอยู่หลายคน
Yahoo! เป็นหนึ่งในผู้ใช้ Hadoop รายใหญ่ของโลก (Facebook กับ IBM ก็ใช้) อาจเป็นเพราะต้องไล่กูเกิลให้ทันในเรื่องสมรรถนะ แต่อีกเหตุผลก็คือ Doug Cutting นักพัฒนาหลักของ Hadoop (รวมถึง Lucene และ Nutch) ปัจจุบันมาทำงานกับ Yahoo!
ล่าสุด Yahoo! ประกาศแจกซอร์สโค้ดของ Hadoop เวอร์ชันที่ใช้ภายในบริษัทแล้ว (ใต้ชื่อ Yahoo! Distribution of Hadoop) โดย Yahoo! Hadoop ก็มีแพตช์ต่างๆ เพิ่มมาจาก Apache Hadoop ซึ่ง Yahoo! อ้างว่าได้ปรับปรุงประสิทธิภาพ เสถียรภาพเพิ่มขึ้นมาอีกมาก
Yahoo! Distribution of Hadoop ใช้สัญญาอนุญาตแบบโอเพนซอร์สเหมือนกับ Apache Hadoop ดังนั้นแพตช์ทั้งหลายก็สามารถกลับเข้า Hadoop หลักได้ง่าย
ที่มา - Yahoo! Developer Network Blog
- 2768 reads
Comments
ยาฮู ฮาดู๊ป .... อ่านงี้ป่าวคร้าบ
แล้วทำไมยาฮูไม่แพทช์กลับเข้าไปที่ต้นทางล่ะครับ?
+1
onedd.net
onedd.net
ผมไม่แน่ใจว่าอย่างนี้เรียกว่าคนละ Branch หรือเปล่านะครับ
That is the way things are.
คิดว่าเพื่อให้เครดิตตัวเองว่าเขาพัฒนาแยกได้ดีมากกว่าของเดิม มั้ง?
บางทีต้นทางเค้าไม่รับครับ อาจจะมีแนวทางที่ไม่ตรงกัน
ตัวอย่างคล้ายๆ กันนี้คือ Novell ที่กินเกาเหลากับ Sun เรื่อง OpenOffice ก็เลยมีโครงการ Go OOo ที่เป็น OOo เวอร์ชันรวมแพตช์ Novell ออกมา
เค้าส่งเข้าไปแล้วนะครับ http://github.com/yahoo/hadoop/blob/54428cc8dd437b4de9efe070e777023ec171a498/YAHOO-CHANGES.txt
ที่เหลือก็อยู่ที่ต้นทางแล้วล่ะว่าจะเอาเข้าไปรวมหรือไม่ จะเลือก patch ของใคร ก็เหมือนที่ mk บอกไว้ครับ
เพิ่งเคยได้ยินชื่อนี้ครั้งแรก แล้ว Apache Hadoop แตกต่างจาก Apache ธรรมดาตรงไหนครับ
Apache เองจริงๆ เป็นชื่อโครงการ opensource software หลายตัวเลยครับ อย่าง Apache Ant นี่ก็ใช่ SpamAssassin ก็อยู่ใน project apache เหมือนกัน
ส่วนถ้าเข้าใจคำว่า Apache เป็น Web Server มันคือ Apache HTTPD (หรือ Apache Web Server) ครับ
Apache = ป้าชุลี Hadoop = นางงามคนหนึ่ง
+1 เท่สุดในรอบวัน
ชอบครับ ++1
เลิกยุ่งกับ Hadoop มาสักพักแล้วครับ เนื่องจากงานที่เคยคิดว่าจะเอามาใช้มันเป็นแบบ Realtime ไว้เก็บไฟล์เล็กๆจำนวนมาก ซึ่ง HDFS ของ Hadoop ไม่ได้ถูกออกแบบมาเพื่องานแบบนี้ มันเหมาะกับงานแบบ batch ที่ต้อง process ไฟล์ขนาดใหญ่มากๆอย่างพวก log file ซึ่งใช้ร่วมกับ MapReduce มันถึงเหมาะกับ search engine ซึ่งมีข้อมูลขนาดใหญ่มากๆ ถ้าใครอยากทำบริการพวก log management/analysis ผมว่า Hadoop น่าสนใจมากเลย
มีคนบอกว่างานแบบของผมให้ใช้ Cassandra แทน :) ปล. Cassandra นี่ของ Facebook นะครับ ในขณะที่ Facebook ก็ใช้ Hadoop สำหรับงานบางประเภท