首页 › tech › 一场大火瘫掉5300万用户

一场大火瘫掉5300万用户:韩国两场数据中心大火复盘

概述

2021年10月25日和2022年10月15日,韩国SK C&C旗下数据中心接连发生两场电池室火灾:第一场把韩国电信巨头KT的核心IT系统烧瘫,全国固网宽带、IPTV大面积中断;第二场把国民级应用KakaoTalk烧瘫,波及5300万用户,直接导致联席CEO辞职。两场火的起点都是机房最不起眼的角落——电池室,但真正把“局部火灾”放大成“全国断网”的,是关键系统在单一数据中心的过度集中、容灾切换的形同虚设。本文按时间线复盘两次事故,拆解故障传导链,并给出可直接落地的机房与容灾整改清单。

引子:为什么通信人必须看两场“别人的火灾”

很多无线网、核心网的工程师有一个惯性认知:断网事故的主犯是配置错误、软件Bug、光纤挖断,火灾属于“消防部门的事”。韩国这两场大火恰恰证明了相反的结论——当核心网元、DNS、认证系统集中托管在同一个机房时,一场三层楼高的电池室火灾,杀伤力不亚于一次全网路由误配。

更扎心的是:两场火灾发生在同一家外包数据中心运营商(SK C&C)身上,间隔只有一年。第一场火烧完,全行业都在喊“吸取教训”;一年后,同一个园区、同一类起因,烧出了更惨烈的结果。这说明问题从来不是“没意识到”,而是整改没有落到架构层面。

先把两次事故的基本盘放在一张表里:

维度 第一场火:KT事故 第二场火:Kakao事故
时间 2021年10月25日(周一) 2022年10月15日(周六)
地点 SK C&C京畿道城南市数据中心(板桥/盆唐园区) SK C&C京畿道板桥数据中心
起火点 机房电力相关区域(电池/电气设施,起因据韩媒报道为电气因素) 三楼电池室,起火时间约15:30(当地时间)
直接受害者 KT:全国固网宽带、IPTV、部分移动与政企业务 Kakao:KakaoTalk、KakaoPay、Kakao T、Daum等全线服务
影响面 KT约九成固话、四成多高速宽带用户家庭受波及 据CNBC报道约5300万用户被“锁在门外”,波及约190个在线服务(含同园区入驻企业,据韩国监管通报)
恢复时长 主要业务当天深夜陆续恢复,部分政企系统拖至次日 核心通信当天至次日恢复,部分后端与数据服务拖了近两周
事后追责 KT公开致歉、政府启动全国数据中心紧急检查 Kakao联席CEO南官澔辞职(CNBC报道),政府启动联合调查与处罚整改

第一场火:KT全国断网,烧在“别人的机房”里

事故经过

2021年10月25日下午,位于首尔以南的SK C&C数据中心发生火灾。这个机房对普通人是陌生的,对KT却是命门——据韩联社等韩媒报道,KT将包括DNS、认证系统、门户网站、安全系统在内的一大批核心IT基础设施托管于此。

火灾发生后,故障的传导路径几乎是教科书式的:

  1. 火场本体:起火区域供电与制冷中断,托管的物理服务器批量掉电;
  2. 系统层塌方:KT的DNS解析与认证服务异常,用户“连得上基站、上不了网”——拨号认证失败、域名解析超时;
  3. 业务层蔓延:固网宽带大面积中断、IPTV黑屏,依赖KT线路的银行App、证券下单、公共机构业务接连报障;
  4. 雪上加霜:大量用户同时重试,客服热线被打爆,故障时段恰逢工作日下午,政企业务影响被进一步放大。

当天深夜,KT主要业务陆续恢复,KT随后公开致歉。值得玩味的是公众的质问:一家号称网络可用性“六个9”的运营商,为什么会被一场不在自己园区里的火灾打瘫?答案在架构里——容灾备端存在,但切换没有跑赢事故。据韩媒复盘报道,KT在故障初期尝试将业务切往备端,但部分系统切换失败或切换时长远超预期,最终只能按“灾后重建”而非“灾中切换”的方式逐步恢复。

政府反应

事故次日,韩国科学技术信息通信部(MSIT)联合韩国互联网振兴院(KISA)宣布对全国主要数据中心开展紧急检查——据韩联社报道,检查范围覆盖48座主要机房。消防、电力、托管架构、容灾演练记录成为检查重点。这场全国性检查,为一年后的第二场火埋下了“为什么没防住”的追问。

第二场火:5300万人打不开的KakaoTalk

事故经过

如果说第一场火是通信行业内部的事,第二场火则让整个韩国社会体会到“数字基础设施单点故障”的恐怖。

2022年10月15日(周六)下午约15:30,SK C&C板桥数据中心三楼电池室起火。这一次的直接受害者是全球罕见的“超级App”Kakao——据CNBC报道,此次故障将约5300万用户挡在服务之外:

据韩国监管方面通报,火灾波及该数据中心入驻企业的约190个在线服务。对韩国人来说,这不是“某个App崩了”,而是半数国民的通讯录、钱包和出行工具同时失联——大量依赖KakaoTalk登录的第三方App连带无法使用,故障影响远超Kakao自身业务边界。

恢复之慢,比中断更刺眼

这次事故最值得运维人咀嚼的,是恢复的长尾:

“备份和主机在同一间机房”这条,几乎是所有容灾清单的第一条红线,但在成本压力下,它恰恰是最常被默认放过的一条。

追责与整改

根因分析:火是引信,架构才是炸药

把两次事故放在一起看,故障传导链高度同构:

flowchart TB
    A["电池室起火"] --> B["机房供电与制冷中断"]
    B --> C["托管服务器批量宕机"]
    C --> D["关键系统集中损失"]
    D --> E["DNS解析与认证服务瘫痪"]
    E --> F["全国用户大面积无法上网或登录"]
    C --> G["本地备份同机房损毁"]
    G --> H["恢复只能异地重建")
    F --> I["社会面影响放大"]
    H --> I

细看有三层根因,每一层都不是“火”本身:

第一层:风险敞口算错了。 运营商和平台普遍按“机房SLA 99.9%”做预算,把外包机房视为低风险节点。但风险敞口等于“故障概率×爆炸半径”,机房故障概率确实低,爆炸半径却是全国级。KT把DNS和认证集中在一处,Kakao把消息、支付、出行的核心链路集中在一处,等于用全国可用性去赌一座楼的消防安全。

第二层:容灾是“纸面容灾”。 两场火都暴露出同一件事:灾备切换预案写了,演练没到位或切换链路依赖了同故障域的资源。真正有效的容灾必须回答三个问题:RTO是多少?切换由谁拍板、多久拍板?切换动作本身依赖的DNS、网络、人员通道是否在故障域之外?纸面容灾的典型症状是——演练成功率100%,实战切换率0%。

第三层:电池室是最被低估的高危区。 两次起火都指向电力附属设施。阀控铅酸/锂电池组在充放电老化后热失控风险显著上升,而电池室往往位于楼宇夹层、通风条件差、早期烟感难以覆盖。消防规范达标不等于风险可控——规范是底线,不是目标。

时间线:两年两场火

timeline
    title 韩国数据中心两场大火关键节点
    2021年10月25日 : SK C&C城南数据中心起火 : KT核心IT系统瘫痪 : 全国固网宽带与IPTV大面积中断
    2021年10月26日 : KT主要业务恢复并公开致歉 : 政府宣布全国数据中心紧急检查
    2022年10月15日 : 板桥数据中心三楼电池室起火 : Kakao全线服务中断 : 约5300万用户受影响
    2022年10月16日 : KakaoTalk核心功能分批恢复 : 政府启动联合调查
    2022年10月19日 : 联席CEO南官澔辞职 : 管理层公开道歉
    2022年10月至11月 : 部分后端服务陆续重建 : 宣布自建数据中心与多机房分散策略

给通信运维人的七条可落地整改

以18年核心网与机房运维的视角,这两场火值得每个NOC和基础设施团队对照自查。以下清单按优先级排序:

  1. 画出你的“单一机房依赖图”。 把全网关键业务(DNS、HSS/UDM、认证、计费、网管、CSFB/ VoNR锚定点)逐个标注托管位置。任何一张图上出现“多个核心系统、同一个园区”,就是最大的敞口。这一步不花一分钱,却是最有价值的动作。

  2. 备份必须物理隔离到不同故障域。 不同楼宇、不同供电段、不同光缆路由。同机房备份等于没有备份。Kakao已经用两周的长尾恢复替全行业交了学费。

  3. 每季度做一次真切换,而不是真演练。 演练是“假装切”,切换是把生产流量真正倒到备端跑24小时。只有真切换才能暴露隐藏的单点:切换脚本依赖的跳板机、运维VPN、甚至DNS本身,都可能在故障域内。

  4. 电池室按最高风险区管理。 单体电池巡检加红外测温、加装可燃气体探测与定向排风、电池组分级断电设计、优先推广更安全的磷酸铁锂方案。电池是机房里唯一“自带能量”的设备,着火后自己给自己供氧供能。

  5. 把外包机房纳入自家变更与巡检体系。 SLA只约束赔偿,不约束风险。托管机房要行使甲方检查权:消防联动测试记录、电池更换批次、动环告警月报,每季度现场审计一次。

  6. 故障公关预案与技术预案同等重要。 KT和Kakao的舆情都在“恢复慢”上二次发酵。断网时同步发布“影响范围+预计时长+替代渠道”,比恢复后道歉有效得多。

  7. 监管检查常态化之前,先自查常态化。 韩国政府两场火之间做过全国检查,仍未防住第二场。外部检查只能推动整改立项,风险是否真正出清,取决于内部把“检查项”变成“常态项”的能力。

标准与监管层面,韩国此后持续推动数据中心成为国家关键基础设施进行管理,逐步强化选址分散、消防与韧性标准——3GPP与各国监管允许多种实现路径,具体要求以各监管机构官方文件为准,但方向已经清晰:国家级数字基础设施,不允许把鸡蛋放在一个机架里。

结语:所有断网的终点,都是一次没做的演练

复盘这两场火,最令人唏嘘的不是火灾本身,而是两次事故之间隔着整整一年、一场全国大检查和无数篇复盘报告,第二场火依然烧穿了同一类弱点。断网事故的复盘永远不缺结论,缺的是把结论变成架构变更、预算和演练的决心。

对一线工程师来说,记住一个朴素的判断标准就够了:如果你的容灾方案从未在生产环境真跑过一次,它就不是容灾方案,只是一份安慰文档。 下一次出事的,永远是最自信的那张网络。

参考来源

  1. 韩联社(Yonhap)、CNBC、The Korea Herald关于两起火灾的系列报道 — 事故时间线、影响面与追责细节综合整理(细节以各媒体原文为准)

本文由「51学通信」技术团队出品。51学通信由通信行业18年老兵爱卫生(微信ID: gprshome201101)维护,聚焦5G/6G核心网、3GPP标准解读、通信前沿技术深度分析。 出版作品有《5G核心网原理与实践》《IMS原理与实践》等4本通信专业书籍。知识星球「51学通信」提供深度技术答疑和行业洞察。

[!tip] 51学通信知识星球 星主:爱卫生(微信:gprshome201101)——公众号「51学通信」创办者,19 年通信行业运维与讲师经验,著有《GPRS网络信令实例详解》《EPC原理与实践》《5G核心网原理与实践》三本纸质书(各大电商平台有售)。 星球定位:深耕 5G 核心网、IMS、NFV/AI、云原生等 ICT 领域,主打运维岗位与信令分析。 当前规模:5200 篇主题 / 990 个回答,198 元/年。 加入福利:加入星球后请加爱卫生微信,拉您进知识星球年度陪伴与答疑群——不限量回复您的各种问题,另有群内分享。 AI 加持:51学通信知识星球已作为 skill 接入 WorkBuddy,使用 deepseek-4-flash 在海量星球帖子中精准找贴、找视频、找 FAQ 和案例,做总结、找文档和 PPT 等场景全覆盖。

51学通信知识星球海报-扫码加入