เมื่อวานนี้ GitHub เกิดเหตุล่มต่อเนื่องยาวกว่า 7 ชั่วโมงส่งผลให้คนจำนวนมากไม่สามารถทำงานได้ ล่าสุดทีมงานก็ออกมาชี้แจงสาเหตุเบื้องต้น ว่าเป็นเหตุต่อเนื่องจากทราฟิกที่มากขึ้น, การคอนฟิกที่ผิดพลาด, และบั๊กใน VS Code

เหตุเริ่มต้นจากทราฟิกในโซน Central US เพิ่มขึ้น แต่คอนฟิก Istio ภายในกลับผิดพลาด โดยระบบ auto scale ไม่ได้ตรวจสอบ sidecar limit ส่งผลให้ Istio sidecar เพิ่มขึ้นจนชนเพดาน ทำให้ HAProxy ค่อยๆ ล่มไปทีละตัวจนครบทุกตัว นอกจากนี้ระบบเชื่อมต่อซ่้ำภายในก็ทำให้ load balancer ภายในถูกยิงอย่างต่อเนื่อง ขณะที่ภายนอกนั้น Copilot ใน VS Code มีบั๊กการเชื่อมต่อซำ้เช่นกัน เมื่อระบบเริ่มมีปัญหาแล้ว VS Code พยายามเชื่อมต่อก็ทำให้ทราฟิกของ Copilot Token Service เพิ่มขึ้นสิบเท่าตัว

ทีมงานต้องคอนฟิกค่าการเชื่อมต่อซ้ำภายในให้ลดลง พร้อมกับบล็อคการใช้งาน Copilot Token Service ออกไปก่อนเพื่อให้ระบบได้ฟื้นตัว ระบบจึงค่อยๆ กลับมา

ตอนนี้ค่าคอนฟิกถูกตรวจสอบเพิ่มเติมว่ามีคอนฟิกใดเกินขีดจำกัดระบบหรือไม่, ปรับค่าการเชื่อมต่อซ้ำใน gateway และ client ภายในทั้งหมด, ตลอดจนแก้บั๊กของ VS Code ต่อไป

ที่มา - GitHub Status