定时任务半夜三点执行,执行到一半内存溢出,第二天一早全组人知道了。我把整条链路在心里复盘了一遍。我在心里默默记下这台机器的 IP,下次直接找它。感动,然后我学到了新的一课

磁盘满了,清理日志删了 200G,五分钟后又满了。这套流程走下来,我从头到尾又确认了一遍。我把这台机器的内核对齐了一遍,虚拟化下的问题少了。连茶水间都安静了

我把这次的变更记了下来,下次至少有个参考。我打开记录从头到尾扫了一遍。我把这个服务的资源限制加上了,它不能再吃满整台机器。复盘会上我们把它列成了案例

定时任务半夜三点执行,执行到一半内存溢出,第二天一早全组人知道了。我在心里把涉及的所有环节都过了一遍。我把服务重启了一遍,它好了,但我依然不知道原因。世界瞬间清净了

我登上了那台机器,第一件事是看磁盘。我重新看了一遍手上的计划,把风险项标了出来。我把这个服务的降级开关打开了,核心链路终于保住。这大概就是程序员的人生吧

我把这个服务的依赖画了出来,是个网状结构。我默默打开了编辑器,准备一步步验证。我把这个服务的开机自启加上了,重启后不用再手动拉。真香定律准时生效

我把这台机器的日志清了一遍,第二天又满了。我把手上的资料翻出来又读了两遍。我把这个服务的监控告警阈值调高了,告警终于不再刷屏。我沉默了,但心里是服的

这个 bug 每次只在周五下午出现,我们都怀疑服务器也想过周末。我把它记在心里,没跟任何人说。我在心里把这次的排障时间线记了下来,留着写事故报告。我把它写进了组内的避坑文档第一章

我把这台机器的日志清了一遍,第二天又满了。我盯着屏幕沉默了十分钟。我打开了这台机器的负载曲线,发现它每两小时抖一下。我把这条经验写进了团队 wiki

这台机器的配置是我三年前定的,当时的量只有现在的一成。我笑了笑,决定不解释。我把这个服务的内存上限调大了,它终于不再被系统杀掉。世界瞬间清净了