Ngày 10 tháng 3 năm 2021, một vụ hỏa hoạn lớn xảy ra tại trung tâm dữ liệu Strasbourg của OVH, nhà cung cấp hạ tầng cloud lớn nhất châu Âu. Đám cháy phá hủy hoàn toàn tòa nhà SBG2 và làm hư hại một phần SBG1, gây downtime cho hàng nghìn website, dịch vụ hosting và cả hệ thống chính phủ châu Âu trong nhiều ngày. Đây là một trong những sự cố vật lý nghiêm trọng nhất từng ảnh hưởng trực tiếp đến dịch vụ cloud.
Chuyện gì đã xảy ra?
Vụ cháy bắt đầu vào khoảng nửa đêm tại data center SBG2. Ngọn lửa lan nhanh khiến toàn bộ tòa nhà bị phá hủy và làm SBG1 bên cạnh bị hỏng một phần. Dù có hệ thống chữa cháy, nhưng mức độ lớn của đám cháy buộc lực lượng cứu hỏa phải mất nhiều giờ để kiểm soát.
Timeline sự cố
- 10/03/2021 – 00:47 CET: Đám cháy bùng phát tại tòa nhà SBG2, Strasbourg.
- 01:20 CET: Toàn bộ nhân viên được sơ tán an toàn, không có thương vong.
- 02:00 CET: Lửa lan rộng, phá hủy hoàn toàn SBG2 và ảnh hưởng một phần SBG1.
- Sáng 10/03: Hàng nghìn website và dịch vụ cloud châu Âu inaccessible.
- Trong tuần kế tiếp: OVH di dời workload sang các data center khác và hỗ trợ khách hàng khôi phục từ backup.
- 19/03/2021: OVH xác nhận đã khôi phục phần lớn dịch vụ và công bố kế hoạch mở rộng DC mới để bù đắp.
Ảnh hưởng
- Hàng nghìn website và ứng dụng tại châu Âu downtime, trong đó có cả dịch vụ chính phủ, ngân hàng và e-commerce.
- Nhiều khách hàng không có backup ngoài OVH bị mất dữ liệu vĩnh viễn.
- Toàn ngành cloud rúng động, vì sự cố không đến từ lỗi phần mềm hay tấn công mà từ yếu tố vật lý.
Cách tổ chức khắc phục sự cố
- Sơ tán và an toàn: OVH đảm bảo toàn bộ nhân viên rời khỏi khu vực an toàn, không có thương vong.
- Di dời workload: Hướng dẫn khách hàng chuyển hệ thống sang các DC khác trong mạng lưới OVH.
- Khôi phục từ backup: Những khách hàng có backup được hỗ trợ phục hồi nhanh chóng, trong khi OVH mở các chương trình hỗ trợ kỹ thuật 24/7.
- Cam kết cải tiến: OVH công bố kế hoạch nâng cấp tiêu chuẩn PUE và phòng cháy chữa cháy, đồng thời đầu tư DC mới với thiết kế chống cháy mạnh mẽ hơn.
- Minh bạch thông tin: CEO OVH, Octave Klaba, liên tục cập nhật tình hình trên Twitter và trang status chính thức.
Phản ứng từ cộng đồng
- Nhiều khách hàng bày tỏ thất vọng vì mất dữ liệu khi không có backup ngoài OVH.
- Ngược lại, cộng đồng đánh giá cao sự minh bạch khi CEO OVH trực tiếp thông báo tiến độ khắc phục.
- Sự cố được xem là lời cảnh tỉnh về rủi ro hạ tầng vật lý và sự cần thiết của chiến lược multi-region + offsite backup.
DevOps VietNam facts: Vụ cháy OVH 2021 cho thấy, sự cố vật lý có thể xóa sạch cả data center. Hãy luôn thiết kế hạ tầng với nhiều vùng độc lập và backup offsite, vì “cloud” cũng chỉ là server trong một tòa nhà có thể bốc cháy bất cứ lúc nào.
