Tags:
Node Thumbnail

เดิมทีนั้น Instagram ใช้ระบบเซิร์ฟเวอร์ Amazon Web Services (EC2) แต่หลังการขายกิจการให้ Facebook ในปี 2012 มาได้สักระยะหนึ่ง ก็ได้เวลาย้ายมาใช้ศูนย์ข้อมูลของ Facebook แทนด้วยเหตุผลด้านค่าใช้จ่ายและการบริหารจัดการ

Instagram เริ่มคิดเรื่องนี้ในเดือนเมษายน 2013 และเพิ่งย้ายระบบเสร็จทั้งหมดเมื่อไม่นานมานี้เอง (เตรียมการย้ายกันนานเป็นปี) ข้อจำกัดของการย้ายระบบครั้งนี้คือข้อมูลของ Instagram มีจำนวนมหาศาล และทีมงานก็ตั้งเป้าว่าจะย้ายระบบทั้งหมดโดยไม่ต้องหยุดให้บริการเลย

อย่างไรก็ตาม ด้วยข้อจำกัดทางเทคนิคทำให้ Instagram ไม่สามารถย้ายระบบจาก EC2 ไปยัง Facebook โดยตรงได้ ทำให้ต้องย้ายกันถึง 3 ทอดครับ (ถือเป็นกรณีศึกษาที่น่าสนใจของการย้ายระบบขนาดใหญ่บนกลุ่มเมฆ)

ทีมงาน Instagram บอกว่าตอนแรกเรื่องเหมือนจะง่าย แค่เชื่อมต่อเครือข่ายระหว่าง EC2 กับศูนย์ข้อมูลของ Facebook ก็เรียบร้อยแล้ว แต่ปัญหาที่พบคือหมายเลข IP (แบบ private) ของ EC2 ชนกับ Facebook

จาก EC2 ไป VPC

ทางออกของ Instagram จึงเป็นการย้ายข้อมูลจาก EC2 ไปไว้ที่อื่นก่อน แล้วค่อยย้ายไป Facebook อีกทีหนึ่ง ซึ่ง Instagram ก็เลือกย้ายไปยังบริการอีกตัวของ Amazon ชื่อ Virtual Private Cloud (VPC) ที่มีความยืดหยุ่นเรื่องหมายเลขไอพีมากกว่า EC2 ดังนั้นขั้นแรกจึงเป็นการย้ายจาก EC2 ไปยัง VPC

อย่างไรก็ตาม เนื่องจากเซิร์ฟเวอร์ของ Instagram มีเยอะมาก (จำนวน instance เป็นหลักพัน) ทำให้บริการจัดการยาก แถม Amazon ก็ไม่มีวิธีง่ายๆ ในการเชื่อมต่อเครือข่ายภายในของ EC2 กับ VPC (ที่เป็นบริการคนละตัวกัน) เข้าด้วยกัน ทีมงานจึงต้องลงมือทำเองโดยเขียนโปรแกรมชื่อ Neti เข้ามาบริการจัดการ iptables ของเครื่องที่รันอยู่

กระบวนการแรกคือย้ายจาก EC2 ไปยัง VPC ใช้เวลาประมาณ 3 สัปดาห์ (Instagram ประเมินว่าถ้าไม่มี Neti จะใช้เวลานานกว่านี้มาก)

จาก VPC ไป Facebook

ขั้นตอนที่สองคือย้ายจาก VPC ไปยังระบบเซิร์ฟเวอร์ของ Facebook ที่มีสถาปัตยกรรมแตกต่างกันตั้งแต่ระบบระบบปฏิบัติการ (เซิร์ฟเวอร์ของ Instagram ที่รันใน EC2 เดิมใช้ Ubuntu แต่ Facebook ใช้ CentOS) ทำให้เครื่องมือบริการจัดการเซิร์ฟเวอร์ที่ Instagram เคยสร้างขึ้นในอดีตจึงใช้งานไม่ได้

ทางแก้ไขของ Instagram ใช้ "คอนเทนเนอร์" ซึ่งในที่นี้คือ Linux Container (LXC) เก็บการคอนฟิกต่างๆ ไว้ และใช้เครื่องมือช่วยคอนฟิกชื่อ Chef ช่วยติดตั้งระบบใหม่เท่าจำนวนเครื่องที่ต้องการ

กระบวนการย้ายจาก VPC ไปยัง Facebook ใช้เวลาประมาณ 2 สัปดาห์ กระบวนการทั้งหมดจบลงด้วยดีโดยไม่มีปัญหาระบบเลย (อย่างไรก็ตาม ช่วงระหว่างการย้าย Instagram มีปัญหาระบบล่ม ซึ่งทีมงานบอกว่าไม่เกี่ยวข้องกับการย้ายระบบ)

ทีมงาน Instagram แนะนำให้คนที่ต้องย้ายระบบแบบเดียวกัน วางแผนให้ดีและเตรียมเครื่องมือให้พร้อม ถ้าจำเป็นก็ควรพัฒนาเครื่องมือและทดสอบจนแน่ใจแล้วค่อยย้ายจริง

ที่มา - Instagram Engineering, Wired

Get latest news from Blognone

Comments

By: darthvader
Windows PhoneWindows
on 30 June 2014 - 11:37 #717825
darthvader's picture

เยี่ยมครับวางแผนได้ดีมากๆย้ายใหญ่ๆ แบบนี้นึกถึง ตอนย้าย Hotmail เมื่อไม่นานมานี้ //สวัสดีครับขอบคุณสำหรับข่าว

By: jaideejung007
ContributorWindows PhoneWindows
on 30 June 2014 - 13:49 #717864
jaideejung007's picture

งานช้างเลยนะนั้น

By: acitmaster
AndroidUbuntuWindowsIn Love
on 1 July 2014 - 10:23 #718132 Reply to:717864
acitmaster's picture

+77 ต้องเรียก งานช้างสุรินทร์ //ใหญ่มาก

By: naphob
ContributoriPhone
on 30 June 2014 - 13:55 #717869

บริการจัดการยาก => บริหารจัดการยาก

By: modeQ
WriterIn Love
on 30 June 2014 - 17:17 #717918

น่าสนใจว่า งบประมาณในโครงการย้ายข้อมูลขนาดใหญ่นี้ มีค่าใช้จ่ายมากเท่าไหร่


Writer no.59 เพื่อสังคมแห่งการแบ่งปันความรู้

By: semicolonth
ContributoriPhoneAndroidRed Hat
on 1 July 2014 - 01:33 #718059
semicolonth's picture

กรณีแบบนี้เราต้องเรียก 2 ทอด หรือ 3 ทอดนะครับ?

EC2 => VPC => Facebook


blog.semicolon.in.th

By: btoy
ContributorAndroidWindows
on 1 July 2014 - 18:18 #718264
btoy's picture

เก่งจริงๆ ข้อมูลมหาศาลมากๆ


..: เรื่อยไป