Ask Blognone

จากปัญหา CAT Telecom และ TOT เมื่อวานนี้ มีเว็บไซต์และบริการออนไลน์ต่างๆ โดนผลกระทบเป็นจำนวนมาก ถึงแม้วันนี้สถานการณ์น่าจะเริ่มฟื้นสภาพกลับมาเกือบหมดแล้ว ก็อาจยังมีเว็บไซต์บางแห่งยังมีปัญหาอยู่

Ask Blognone ตอนนี้จึงขอรวบรวมปัญหาและความเสียหายที่เกิดขึ้นเมื่อวานนี้ โดยขอให้ "ผู้ดูแลระบบ" (ผู้ดูแลระบบเท่านั้นนะครับ ผู้ใช้เฉยๆ ไม่เกี่ยว) ที่ได้รับผลกระทบช่วยเข้ามาแชร์กันว่าระบบ เซิร์ฟเวอร์ หรือเว็บไซต์ที่ตัวเองดูแลอยู่ เกิดปัญหาอะไรขึ้นบ้าง และสถานการณ์ปัจจุบันเป็นอย่างไรครับ (เช่น กลับคืนมาหมดแล้ว หรือยังมีปัญหาอยู่บ้างบางจุด)

สุดท้าย Blognone ก็ขอเป็นกำลังใจให้ผู้ดูแลระบบทุกท่านที่ทำงานหนักตลอดเมื่อวานนี้เพื่อกู้ระบบกลับคืนมาครับ

Hiring! บริษัทที่น่าสนใจ

Carmen Software company cover
Carmen Software
Hotel Financial Solutions
Next Innovation (Thailand) Co., Ltd. company cover
Next Innovation (Thailand) Co., Ltd.
We are web design with consulting & engineering services driven the future stronger and flexibility.
KKP Dime company cover
KKP Dime
KKP Dime บริษัทในเครือเกียรตินาคินภัทร
Kiatnakin Phatra Financial Group company cover
Kiatnakin Phatra Financial Group
Financial Service
Fastwork Technologies company cover
Fastwork Technologies
Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน
Thoughtworks Thailand company cover
Thoughtworks Thailand
Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน
Iron Software company cover
Iron Software
Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.
CLEVERSE company cover
CLEVERSE
Cleverse is a Venture Builder. Our team builds several tech companies.
Nipa Cloud company cover
Nipa Cloud
#1 OpenStack cloud provider in Thailand with our own data center and software platform.
Bangmod Enterprise company cover
Bangmod Enterprise
The leader in Cloud Server and Hosting in Thailand.
CIMB THAI Bank company cover
CIMB THAI Bank
MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank
Bangkok Bank company cover
Bangkok Bank
Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking
MuvMi (Urban Mobility Tech Co.,Ltd.) company cover
MuvMi (Urban Mobility Tech Co.,Ltd.)
Shape the future of urban mobility towards affordable, clean, and safe solutions
T.N. Digital Solution Co., Ltd. company cover
T.N. Digital Solution Co., Ltd.
TNDS has been involving in every first move of banking’s major digital transformation.
KBTG - KASIKORN Business-Technology Group company cover
KBTG - KASIKORN Business-Technology Group
KBTG - "The Technology Company for Digital Business Innovation"
Siam Commercial Bank Public Company Limited company cover
Siam Commercial Bank Public Company Limited
"Let's start a brighter career future together"
Icon Framework co.,Ltd. company cover
Icon Framework co.,Ltd.
Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก
REFINITIV company cover
REFINITIV
The Financial and Risk business of Thomson Reuters is now Refinitiv
H LAB company cover
H LAB
Re-engineering healthcare systems through intelligent platforms and system design.
The Gang Technology Co., Ltd. company cover
The Gang Technology Co., Ltd.
We're a Digital Agency that helps our customers transform their business into digital with ease.
LTMH company cover
LTMH
LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย
Seven Peaks company cover
Seven Peaks
We Drive Digital Transformation
Wisesight (Thailand) Co., Ltd. company cover
Wisesight (Thailand) Co., Ltd.
The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure
MOLOG Tech company cover
MOLOG Tech
We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.
Data Wow Co.,Ltd company cover
Data Wow Co.,Ltd
We enable our clients to realize increased productivity by solving their most complex issues by Data
LINE Company Thailand company cover
LINE Company Thailand
LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call
LINE MAN Wongnai company cover
LINE MAN Wongnai
Join our journey to becoming No.1 food platform in Thailand

หลังจากระบบล่ม
-เมลล์ใช้ไม่ได้
-เว็ปล่ม (แน่ละ)

ตอนนี้ใช้ได้แล้ว เหลือแค่ลิงค์ในเว็ปที่แปะไว้ให้ไปในเว็ปอื่น...

อีกอย่าง
ระบบอินเทอร์เน็ตของโรงเรียนล่ม ตอนนี้มีปัญหาบางจุด อย่าง CAT ล่ม เหลือ TOT สำรองไว้...

สถานการณ์ของผมครับคือ ไม่สามารถเข้าถึงเว็บได้ ซึ่งหลังจากไฟมา ก็เปิดได้ช่วงหนึ่ง แต่ตอนนี้ยังใช้ไม่ได้ครับ (ของผมใช้ host ที่ตั้งใน CAT IDC ครับ กำลังรอให้เจ้าของ host มาเคลียร์อยู่)

Update: กลับมาใช้งานได้ตามปกติแล้วครับ

ผมอยากจะเป็นลมเลย เวปไซต์ผมยังไม่กลับมาเรยครับ ภาพถ่ายเกินสองพันภาพ ไม่กลับมาเรยครับ แต่หน้าเวปไซต์เข้าได้แล้ว สำคัญที่สุดคือรูปภาพครับ เพราะเวปไซต์ผมเปนเวปขายของ ถ้าไม่มีรูปก็ไม่รู้จะขายยังไง งานนี้มีหวังได้ทำใหม่แน่ๆ เรย อยากจะเป็นลม

ระบบดับไปตอนบ่ายสามกว่าๆ server ได้รับผลกระทบ 6 idc ครับ

  • cslox บางรัก (web hosting)
  • cat ชั้น 14 (testing)
  • cat ชั้น 13 (web hosting , streaming , dns manager)
  • nettree ชั้น 4 (database + monitoring system)
  • siamdata ชั้น 4 (cdn)
  • proen ชั้น 4 (database thaitrend)

dns รวนไปหย่อมนึง

ไม่นับที่ cat ชั้น 13 ระบบกลับมาสมบุูรณ์ประมาณห้าทุ่มกว่าๆ

ส่วนที่ cat ชั้น 13 ตอนนี่เข้าจากต่างประเทศได่ ในประเทศไม่ได้ครับ

  • เว็บไซต์ของธุรกิจที่บ้านยังใช้งานไม่ได้ ใช้บริการ hosting ซึ่งวางเครื่องไว้ที่ CAT

  • ธุรกิจที่บ้านใช้ระบบโทรศัพท์ CAT 2 Call Plus ซึ่งเป็นระบบ VOIP แบบมีหมายเลข แทนการใช้โทรศัพท์จริง ยังใช้งานไม่ได้เช่นกันครับ

  • ช่วงเย็นเมื่อวาน ประมาณ 2 ทุ่ม ถึง 3 ทุ่ม ทั้งเว็บและระบบโทรศัพท์กลับมาใช้ได้แล้ว แต่ตั้งแต่ช่วงประมาณ 4 ทุ่มเป็นต้นไปกลับมาใช้ไม่ได้ต่อ จนถึงตอนนี้ยังใช้ไม่ได้อยู่ครับ

Update : 01/12/2013 - 16:31 บริการ CAT 2 Call Plus กลับมาแล้วครับส่วนเว็บยังล่มอยู่เหมือนเดิม
Update : 01/12/2013 - 17:25 ทั้งเว็บบริษัท และ CAT 2 Call plus กลับมาใช้งานได้หมดแล้วครับ

ตอนนี้ใช้ได้แล้วครับ
Server ที่ CS Lox บางรัก ไฟฟ้าที่เลี้ยง server หายไปตอน 15.38 และ server เปิดกลับมาตอน 20.08 Harddisk ทีทำ raid 0 ไว้ Sync หลุด ตอนนี้กำลัง resync ใหม่ กับมี error ใน log เกี่ยวกับ time out บางตัว คอย sync เสร็จแล้วจะหาสาเหตุต่อ

ส่วน Server ที่ TOT แจ้งวัฒนะ หัวค่ำเมื่อวานใช้งานไม่ได้ชั่วคราว แต่ดูจาก log ใน server แล้ว เปิดตลอดครับ คาดว่าเป็นที่การสื่อสารเท่านั้นที่ทำให้เข้าถึง server ไม่ได้

มี server หนึ่งตัวตั้งอยู่ที่ CAT IDC เข้าได้จากต่างประเทศ แต่เข้าจากไทยไม่ได้

อีก 2 ตัวอยู่ที่ CAT IDC เหมือนกันแต่คนละชั้น ทำงานได้ตามปกติแล้ว

เว็บผมยังล่มอยู่ครับ รวมทั้งเว็บของบริษัทที่ผมเช่าโฮสท์ด้วย ล่มมาตั้งแต่ประมาณ 5 โมงเมื่อวาน เมื่อคืนพอเข้าได้สักครึ่งชั่วโมง (ไม่น่าจะถึง) แล้วก็กลับมาล่มจนถึงตอนนี้...

ทำ IDC เองที่ ตจว. ไม่มีปัญหาครับ บริษัทคู่ค้าก็ไม่มีปัญหาเช่นกัน recovery รวดเร็วมากครับ

สงสารแต่ Call Center ที่โดนลูกค้าด่าจนเละนับร้อยๆสาย

Architec Mon, 02/12/2013 - 21:10

In reply to by PaPaSEK

ผมบอกไม่หมดครับ ทีแรกของคู่ค้าล่มไป 4 ชั่วโมง แล้วระบบหลักล่มไปอีกประมาณ 3 ชั่วโมง หลังจากนั้นประมาณ 4 ทุ่มค่อยกลับมาใช้การได้ทั้งหมดครับ

อ๋อครับ System Engineer อยู่ที่ภาคอิสานทั้งหมดครับ เลยไม่อยากเดินเข้าๆออกๆ IDC ที่กรุงเทพเพราะระบบต้องเน้นการ Maintain แทบจะรายวันเลย

อีกอย่างนึงคือต้องการลดต้นทุนไปในตัวครับ เพราะถ้าทุ่มทรัพยากรทุกอย่างไว้ที่กรุงเทพมันมีรายจ่ายสูงมากครับ

ระบบส่วน International Gateway ล่มไปตอน 15:28 กลับมาอีกทีราวๆช่วง 19:30 ดาวน์ไปราว 4 ชม.ครับ

ยังมีเอฟเฟคในส่วนของ Private MPLS Circuit อยู่นิดหน่อยครับ

jokerxsi Sun, 01/12/2013 - 14:02

ใช้ Cloud ของ Txxx ตัวระบบไม่เป็นอะไรครับ ทุกอย่างทำงานปกติ ไม่พบความเสียหายใดๆครับ
มีแค่ช่วง DNS down ที่เข้าเว็บตรงๆไม่ได้ แต่ทุกระบบก็กลับมาเมื่อเวลาประมาณ  18:00 ของเมื่อวานนี้ (30/11)

gaemrxp Sun, 01/12/2013 - 15:11

CAT 14th ใช้ได้แล้วมีแค่เครื่องดับฮะ

ส่วนของผมเป็น primary name server หลักของ domain ราวๆ 2-3,000 domain อยู่ network วง 61.19.250.xxx ณ ขณะนี้เครื่องเปิดรอไว้แล้ว เหลือแต่ว่าเมื่อไหร network จะซ่อมเสร็จครับ

ยังดีที่วางระบบสำรองไว้ล่วงหน้าแล้ว เลยไม่กระทบมากเท่าไหร จะกระทบเฉพาะ website ที่ host ไว้ที่ CAT IDC ประมาณ 3-400 domains เท่านั้นครับ

ส่วนข้อมูลของผมเท่าที่ตรวจสอบโชคดีมากที่ไม่เสียหายแต่อย่างใด

แต่ Switch เจ๊งไป 1 ตัวครับ

สรุปว่า ณ ตอนนี้เท่ากับว่า Service ของผมดับไปประมาณ 24 ชั่วโมงแล้วครับ T_T

เพิ่มเติม ตอนนี้ระบบ online ครบถ้วนแล้วครับ

เว็บลูกค้าล่มทุกเว็บครับ และกลับมาใช้ได้ตามปกติเรียบร้อยแล้ว ไม่พบข้อมูลเสียหาย นอกจากคำติด่าจากลูกค้าที่ก็ต้องรับกันไป T_T

Page365 รอดครับ แต่ internet ออกจ่างประเทศ ล่มเป็นพักๆ กระทบบริการมากครับ T_T
ทีม Dev. ทำงานตลอดนะครับ ปกป้องขอ้มูลลูกค้า

อันนี้ไม่ใช่เว็บ แต่เป็นเน็ต TOT

คือผมเข้าเว็บ Google และ Facebook ไม่ได้ครับ ลอง nslookup ดู แล้วพบว่ามันไปตายอยู่ไอพี 86.55.166.120 ผมไม่แน่ใจว่ามันเป็น DNS หรือเป็น Cache

ตอนนี้ไปใช้ 8.8.8.8 เลยเข้าได้เหมือนเดิมละ

ความเสียหายจากเหตุการณ์นี้ "ของระบบที่ผมดูแล" จากที่เช็คล่าสุด

  1. ระบบ VM ที่รันอยู่หลายตัว มี 2 Ints ที่รองรับระบบสำรองมีปัญหาต้อง resync ข้อมูลใหม่หมด
  2. Server ตัวหนึ่ง HDD พบ bad sector เนื่องจากไฟฟ้าดับ และกลับมา ต้องสำรองข้อมูล และรอเปลี่ยน HDD
  3. ระบบ VoIP ใช้งานไม่ได้ ทำให้ระบบ Call Center ที่ใช้อยู่มีปัญหา
  4. เสียยอดสั่งซื้อไป 4 แสนบาท (ค่าประมาณจากช่วงเดียวกันของอาทิตย์ก่อน)
  5. ข้อมูลบัญชีลูกค้าผิดพลาดจากการปิดตัวของระบบไม่ถูกต้อง คาดว่าเสียหายอีก 1 แสนบาท

ตอนนี้เฝ้าระวัง H/W อย่างใกล้ชิด ไม่รู้ว่ามีอะไรเสียอีกหรือเปล่า

ไฟฟ้าใน IDC ที่ใช้อยู่ดับไปตั้งแต่ 15:17 น.
ไฟฟ้าใน IDC ที่ใช้อยู่กลับมาใช้งานได้ตอน 20:05 น
ระบบเครือข่ายกลับมาใช้ได้ตอน 22:10 น.

รวมเวลากลับระบบทำงานไม่ได้กว่า 7 ชั่วโมง

CAT IDC หาดใหญ่ ล่มตอน 2013-11-30 15:50 น. เริ่มกลับมาใช้งานได้ตอน 2013-11-30 19:00 น.

พอตอน 3 ทุ่มกว่าเริ่มเข้าใช้งานได้บ้างไม่ได้บ้าง ส่วนใหญ่น่าจะใช้ไม่ได้ จนกระทั่งสาย ๆ ของวันที่ 1 พ.ย. จึงเริ่มกลับมาใช้งานได้เป็นปกติ

ตอนนี้ทุกอย่างเป็นปกติแล้วครับ