我把这次的故障时间线对齐了,有一分钟的空白。我在心里把涉及的所有环节都过了一遍。我把这个服务的进程守护配上了,挂了能自己拉起来。我把这条经验写进了团队 wiki

这台机器的存活时间已经超过了一千天。我停了一下,然后继续手上的活。我在心里把这次的容量规划重算了一遍,留了三成余量。我把这条经验写进了团队 wiki

这台机器的备份策略是「看起来有备份」。我愣了两秒,然后继续敲代码。我把日志级别调到 DEBUG,终于看到那行被淹没的报错。幸好之前留了备份

这台机器的负载曲线比我的心电图还波动。我想了想,觉得这话没法接。我打开了这个服务的部署记录,发现昨晚有人偷偷发布。这条经验值直接拉满

机房空调故障,服务器集体过热,那天的运维群里全是哀嚎。我把手上的资料翻出来又读了两遍。我把这个服务的备份策略改成了每天两次,心里踏实些。幸好之前留了备份

域名解析没生效,全组人围着 DNS 排查了两小时,最后是本地 hosts 没删。我盯着屏幕沉默了十分钟。我在心里给这台机器的生命周期做了个备注,明年该换了。这条经验值直接拉满

重启之后 bug 消失了,我们所有人都不知道它为什么来,也不知道它为什么走。我抬起头看了看周围,大家都一样。我把这台机器的网卡队列调了一下,丢包终于没了。我沉默了,但心里是服的

我把这个服务的依赖画了出来,是个网状结构。我先给自己泡了杯茶,做好了打持久战的准备。我把告警规则重新调了一遍,结果半夜的告警反而更多了。果然现实比段子更精彩

运维的成就感来自没有告警的那一天。我在心里给这次的故障写了个复盘提纲,还没落笔。我把这条经验写进了团队 wiki

我把这台机器的日志清了一遍,第二天又满了。我把这个服务的降级开关打开了,核心链路终于保住。果然现实比段子更精彩