这台机器的存活时间已经超过了一千天。我盯着屏幕,觉得这才是我的一天。我默默把这次故障写进了值班手册。连茶水间都安静了

我把这个服务的日志级别调高了,磁盘立刻不够用。我拉了个小群,把相关同学都叫了进来。我打开了这台机器的负载曲线,发现它每两小时抖一下。我把它写进了组内的避坑文档第一章

域名解析没生效,全组人围着 DNS 排查了两小时,最后是本地 hosts 没删。我把手上的资料翻出来又读了两遍。我打开了这个进程的打开文件数,发现已经到上限了。我沉默了,但心里是服的

定时任务半夜三点执行,执行到一半内存溢出,第二天一早全组人知道了。我重新看了一遍手上的计划,把风险项标了出来。我在心里给这台机器的生命周期做了个备注,明年该换了。这大概就是程序员的人生吧

磁盘满了,清理日志删了 200G,五分钟后又满了。我在心里把涉及的所有环节都过了一遍。我把这个服务的降级开关打开了,核心链路终于保住。真香定律准时生效

我把这次的故障时间线对齐了,有一分钟的空白。我在心里把涉及的所有环节都过了一遍。我打开了这个服务的调用方列表,发现有台机器还在用旧地址。好在最后有惊无险

服务器凌晨三点宕机,告警短信比闹钟还准时。我先给自己泡了杯茶,做好了打持久战的准备。我把日志级别调到 DEBUG,终于看到那行被淹没的报错。连茶水间都安静了

我把这个端口开放了出去,后来花了两天才收回来。这套流程走下来,我从头到尾又确认了一遍。我打开了这台机器的进程列表,有个进程占了一半内存。果然现实比段子更精彩

这台机器的备份策略是「看起来有备份」。我笑了笑,决定不解释。我在心里给运维同学这次的响应速度点了个赞。好在最后有惊无险

服务器不会因为你是半夜而对你温柔一点。我想了想自己这些年,好像确实如此。我把这个服务的连接池预热加上了,第一波流量终于稳了。连茶水间都安静了