แสดงมุมมองของศูนย์ข้อมูลขนาดใหญ่อย่างกูเกิลเองต่อดิสก์เอง

กูเกิลเองต่อดิสก์เอง ?

โดยระบบปฎิบัติการอาจจะมีนโยบายการเขียนแบบต่อเนื่อง

การทำงานร่วมกับระหว่างระบบปฎิบัติการและดิสก์

ระบบปฎิบัติการควรจะควบคุมค่าเหล่านี้ได้เอง

ระบบปฎิบัติการควรรับผิดชอบว่าจะตั้งนโยบาย

ไปอยู่กับระบบปฎิบัติการแทน

ระบบปฎิบัติการ => ระบบปฏิบัติการ

ที่การเขียนจะมีผลกระทบต่อแทรกข้างเคียง

แทรก => แทร็ก

1. ถ้า volume เยอะพอ (ซึ่งสำหรับกูเกิลผมว่าเกินพอ) อยาก custom ใช้เองก็ทำไปได้อยุ่แล้วครับ
2. อันนี้สำหรับใช้ใน idc อยุ่แล้วครับ ถ้าหาเรื่องเอาไปใช้ข้างนอกก็ถือว่าใช้ของผิดประเภทเอง
3. raid เป็นเรื่องล้าหลังในกลุ่ม data center ขนาดใหญ่ครับ :)
4. controller ของ harddisk ปกติมันมีข้อมูลอยู่แล้วครับ ทุก operation มันบอกหมด แต่ไม่ได้เอาข้อมูลมาแสดงผลให้ (ใน smart ก้ไม่มี)
5. -
6. -
7. -
8. -
9. -
10. ถ้า optimize ได้เองละเอียดมากๆ hdd แบบจานแม่เหล็กก็ยังไปได้อีกไกลครับ

google มี server แสนๆเครื่อง มีพนักงานดูแลเป็นหมื่นๆ google คงมีเหตุผลของมันแหละที่เสนอแบบนี้

เช่น เวลา hdd เสีย บางทีเสียแค่จานแม่เหล็ก แต่ของเก่าต้องทิ้งทั้งลูก

"Disks for Data Centers" ครับ ไม่ได้เอามาใช้กับเครื่องทั่วไปนะ ผมว่าหลายๆข้อสมเหตุสมผลดีนะครับ

ส่วนข้อ 9 เนี่ย ขนาด sector ไม่เกี่ยวกับขนาดพื้นที่ข้อมูลบนฮาร์ดดิสนะครับ(ไม่จำเป็นต้องลดขนาดหัวอ่าน) พื้นที่ขนาด 4MB บน disk density เท่ากัน จะใช้พื้นที่เท่ากัน(ไม่รวม header)ไม่ว่าจะขนาด sector เท่าไหร่ครับ

ข้อดีของขนาด sector ขนาดใหญ่คือลดขนาดพื้นที่ header(gap, sync, mark, ECC) ทั้งหมด, เพิ่ม space efficiency สำหรับไฟล์ขนาดใหญ่(>= sector size@sector=cluster)
ส่วนก็เสียก็ space efficiency ลดลงสำหรับไฟล์ขนาดเล็ก (<sector size@sector=cluster) อันนี้แนะนำลองอ่านเรื่อง Advanced Format ดูครับ

การที่ปัจจุบันขนาดไฟล์มีขนาดใหญ่ขึ้น ระบบไฟล์บน datacenter ที่ใช้ cluster size ขนาดใหญ่เพื่อลด header จาก distributed file system อยู่แล้ว การเพิ่มขนาด sector size ให้ใหญ่ขึ้นตามขนาด cluster size ก็เป็นเรื่องที่สมเหตุสมผลดีนะครับ

ทำแกนหมุนให้ทะลุระหว่างตัวโดยไม่ให้ฝุ่นเข้านี่ยากนะครับ

ผมเดาว่ากูเกิลมีทำใช้เองอยู่แล้วล่ะครับ ส่วนที่เสนอเอกสารออกมาเป็นเสนอแนวทางเบื้องต้นไว้ให้คนอื่นๆมากกว่า อารมณ์ประมาณว่า 'นี่น่ะ ถ้าไม่รู้จะเริ่มยังไง เอาแบบนี้ไหมล่ะ' โดยอาศัยข้อมูลจากประสบการณ์ของกูเกิลเอง

We hope this is the beginning of a new era of “data center” disks and a new broad and open discussion about how to evolve disks for data centers. The ideas presented here provide some guidance and some options, but we believe the best solutions will come from the combined efforts of industry, academia and other large customers.

และหากไปดูเอกสารในที่มา กูเกิลคาดว่าความต้องการฮาร์ดดิสในตลาด data center จะไปเร็วเกินความเร็วในการ 'พัฒนา' ฮาร์ดดิสในที่สุด และคิดว่า data center ในอนาคตจะกลายเป็นตลาดหลักสำหรับฮาร์ดดิส จากตัวอย่างแค่ youtube โดดๆ มีผู้ใช้อัพโหลดวิดิโอ 400 ชั่วโมงทุกๆนาที ซึ่งหากนับที่ 1GiB ต่อวิดิโอหนึ่งชั่วโมง เท่ากับว่าต้องการพื้นที่ 1PB เก็บวิดิโอใหม่ๆ ทุกวัน และจะเพิ่มขึ้นเรื่อยๆ 10 เท่าทุกปี

The rise of portable devices and services in the Cloud has the consequence that (spinning) hard disks will be deployed primarily as part of large storage services housed in data centers. Such services are already the fastest growing market for disks and will be the majority market in the near future. For example, for YouTube alone, users upload over 400 hours of video every minute, which at one gigabyte per hour requires a petabyte (1M GB) of new storage every day. As shown in the graph, this continues to grow exponentially, with a 10x increase every five years.

But the current generation of modern disks, often called “nearline enterprise” disks, are not optimized for this new use case, and instead are designed around the needs of traditional servers. We believe it is time to develop, jointly with the industry and academia, a new line of disks that are specifically designed for large­ scale data centers and services

พออ่านดูเห็นที่มาที่ไป ผมว่าไม่แปลกที่กูเกิลเสนอไว้ตั้งแต่เนิ่นๆ
ตัว paper ไม่กี่สิบหน้าเองครับ ถ้าใครสนใจลองอ่านดู