第1章 番外-两极互换1
第1章 番外-两极互换1 (第2/2页)方恒时尚中心的玻璃幕墙映着刚刚亮起的城市灯火。这个时间正赶上晚高峰,北三环上的车流几乎连成一条红色光带,大钟寺附近的写字楼还远没有安静下来。
字节跳动办公区里,基础设施值班组正在日常加班。
这样的强度对于音符厂来说,已经是日常。
心脏和字节,只有一个能跳动。
赵宝明端着咖啡坐回工位时,面前的一块监控大屏忽然跳了一下。
陕西区域的实时请求曲线出现了一道垂直向下的折线。
他停住鼠标,“西安掉量了?”
旁边负责网络质量监控的工程师陈可扭过头来看他的屏幕。
赵宝明点开区域维度,将陕西进一步拆到城市级。
西安
页面刷新。
19时24分59秒以前,曲线仍然平稳。
19时25分00秒之后,断崖式下降。
抖海、头条、洋柿子小说以及公司其他国内业务中,来源地被IP地理库、运营商接入信息和客户端定位共同识别为西安的在线请求量,在短短两秒内同时归零。
赵宝明脸上的困意瞬间消失,一下子清醒了,
“可可,把时间窗口拉到一分钟。”
陈可已经在操作。
一分钟粒度展开成秒级数据。
19时24分58秒,正常。
19时24分59秒,正常。
19时25分00秒,大规模连接断开。
19时25分01秒,QUIC会话数量骤降。
19时25分02秒,TCP存量连接快速清空。
19时25分03秒,西安区域新建连接数接近零。
19时25分05秒以后,只剩下极少量因IP地理库误差被标记为“西安”的请求,还在零星跳动。
陈可皱起眉,“啥情况,看着不像机房故障啊。”
赵宝明把咖啡放到一边。
如果只是字节某个边缘节点发生故障,流量应该按照调度策略迁移到邻近节点。DNS调度、AnyCaSt路由以及运营商侧的流量工程都会让业务出现时延升高、回源比例上升或者局部丢包,却很难让一个千万级别人口城市的终端请求同时消失。
更何况消失的不只有视频业务。
后台统一可观测平台已经开始连续报警。
陕西西安区域活跃设备数异常。
西安区域边缘缓存节点可用性异。
一条接一条。
几十秒后,报警被自动聚合,严重等级开始上调。
坐在另一排的网络工程师宋文泽突然叫了一声。
“赵哥,过来看这个。”
赵宝明走过去。
宋文泽屏幕上打开的是网络侧数据。
移动、电信、联通。西安区域全部出现异常。
宋文泽把BGP监控页面调出来。
“陕西相关公网前缀大部分还在路由表里,没有发生大面积撤销。上游AS也正常。也就是说,从互联网的路由控制平面看,这些地址很多仍然‘存在’。”
陈可站在两人后面,接了一句,“可没人用了。”
办公室安静了下来。
19时26分11秒,周启明拿起内部电话。
“值班经理呢?”
“会议室。”
“叫顾航过来。”
不到一分钟,基础设施值班经理顾航推开门。
“什么情况?”
周启明没解释,直接把城市级曲线投到主屏。
顾航站在屏幕前看了几秒,“陕西其他城市?
“正常”
“基站级数据有吗?”
“我们拿不到运营商完整基站数据,只能用自有业务探针、网络质量采样和用户请求反推。”
陈可把空间热力图又放大一级。
这一回,几个人都没说话。
通常,一场区域性断网的边界不会如此规整。
光缆中断会沿线路出现。
停电会受到供电分区影响。
地震、洪水、火灾造成的通信中断更不会严格遵循一条人类绘制的行政边界。
可眼前这片黑区,却像有人用一把刀沿着西安市的轮廓切了一圈。
顾航终于开口,“把行政区划图叠上去。”
宋文泽调出底图。
半透明的西安市行政边界覆盖在实时网络热力图上。
重合度高得近乎荒谬。
西安像被从中国互联网的实时世界中挖掉了。
19时28分04秒,内部事件等级被顾航手动提高。
“通知网络基础设施、SRE、信息安全和应急响应负责人。”
“再联系西安办公室。”
宋文泽拿起电话。
通讯录里有字节跳动西安分部的的行政值班电话。
拨号。
等待。
没有接通。
换一个号码。
仍然没有接通。
“人也联系不上。”
顾航神色终于变了。
这件事已经超出了字节能够处理的范围。
19时30分23秒。
城市仍然灯火通明。
北三环依旧堵得水泄不通。
无数手机仍在刷着视频,无数服务器仍在处理请求。
大部分人还不知道,远在近千公里外的一座城市,已经彻底变了天。