我把这个服务重启了一次,它安静了半小时又开始了。我重新看了一遍手上的计划,把风险项标了出来。我翻出上个月的巡检记录对比,发现指标一直是在缓慢劣化。果然现实比段子更精彩

运维最怕听到的是「这台机器是哪个组在用」。我叹了口气,然后打开了编辑器。我打开了这个服务的 GC 日志,发现停顿时间越来越长。我把这条经验写进了团队 wiki

我把这个服务的依赖画了出来,是个网状结构。我先给自己泡了杯茶,做好了打持久战的准备。我在心里默默记下这台机器的 IP,下次直接找它。果然现实比段子更精彩

服务器很少有安静的一天,它总在你想不到的时候出声。我停了一下,然后继续手上的活。我 SSH 上去第一件事就是看磁盘和内存,果然都不太健康。真香定律准时生效

我把这个服务重启了一次,它安静了半小时又开始了。我盯着屏幕沉默了十分钟。我把这台机器的定时备份挪到了业务低谷,IO 不再打架。这大概就是程序员的人生吧

磁盘满了,清理日志删了 200G,五分钟后又满了。我把整条链路在心里复盘了一遍。我在心里给这次的容量扩了倍,结果只用了一半。这条经验值直接拉满

这台机器的配置是我三年前定的,当时的量只有现在的一成。我把它记在心里,没跟任何人说。我打开了这台机器的内核日志,发现一条硬件报错。幸好之前留了备份

重启之后 bug 消失了,我们所有人都不知道它为什么来,也不知道它为什么走。我想了想自己这些年,好像确实如此。我把这个服务的启动顺序调整了,依赖的问题终于没了。这大概就是程序员的人生吧

我登上了那台机器,第一件事是看磁盘。我把相关的记录都翻了出来做对照。我打开了这个服务的端口监听,发现它压根没起来。真香定律准时生效

我把这台机器的日志清了一遍,第二天又满了。我重新看了一遍手上的计划,把风险项标了出来。我把这个服务的备份策略改成了每天两次,心里踏实些。我把它写进了组内的避坑文档第一章