运维的成就感来自没有告警的那一天。我不知道该说什么,就笑了笑。我在心里给这次的容量扩了倍,结果只用了一半。那一刻我觉得自己还是很专业的

机房断电二十分钟,UPS 只撑了十五分钟,最后五分钟全靠信念。我打开记录从头到尾扫了一遍。我把这个服务的日志同步到了中心,排查终于不用登机器。同事说这波操作可以写进新人培训教材

这个 bug 每次只在周五下午出现,我们都怀疑服务器也想过周末。我忽然觉得,这可能就是这一行的常态。我把这台机器加进了统一监控,终于不用一个个登上去看。我把它写进了组内的避坑文档第一章

我把这次的故障时间线对齐了,有一分钟的空白。我先给自己泡了杯茶,做好了打持久战的准备。我把这台机器的时间同步配上了,日志的顺序终于对了。好在最后有惊无险

我把这个服务的依赖画了出来,是个网状结构。我拉了个小群,把相关同学都叫了进来。我打开了这台机器的进程列表,有个进程占了一半内存。同事说这波操作可以写进新人培训教材

这台机器的配置是我三年前定的,当时的量只有现在的一成。我盯着屏幕,觉得这才是我的一天。我把这个服务的降级开关打开了,核心链路终于保住。办公室安静得能听见键盘声

服务器不会因为你是半夜而对你温柔一点。我在心里点了点头。我 SSH 上去第一件事就是看磁盘和内存,果然都不太健康。这大概就是程序员的人生吧

线上服务内存缓慢上涨,像一条不肯回头的曲线。我停了一下,然后继续手上的活。我确认了备份是可用的,才敢继续动生产环境。我沉默了,但心里是服的

这台机器的备份策略是「看起来有备份」。我笑了笑,决定不解释。我把这台机器的 swap 关掉了,响应延迟稳定多了。办公室安静得能听见键盘声

域名解析没生效,全组人围着 DNS 排查了两小时,最后是本地 hosts 没删。这套流程走下来,我从头到尾又确认了一遍。我打开了这台机器的内核日志,发现一条硬件报错。我沉默了,但心里是服的