rm -rf 的传说每个运维都听过,每个运维都庆幸自己还没经历过。我叹了口气,然后打开了编辑器。我把这台机器的定时任务错开了,凌晨的负载终于平了。感动,然后我学到了新的一课

我把这个服务的日志级别调高了,磁盘立刻不够用。我把手上的资料翻出来又读了两遍。我在心里给这次的故障定了个级别,比预想的高一级。幸好之前留了备份

域名解析没生效,全组人围着 DNS 排查了两小时,最后是本地 hosts 没删。我先确认了一遍前置条件,再动手。我翻出上个月的巡检记录对比,发现指标一直是在缓慢劣化。复盘会上我们把它列成了案例

rm -rf 的传说每个运维都听过,每个运维都庆幸自己还没经历过。我叹了口气,然后打开了编辑器。我把这个服务的监控告警阈值调高了,告警终于不再刷屏。从此我多了一条团队规约

我把这个服务重启了一次,它安静了半小时又开始了。我把相关的记录都翻了出来做对照。我确认了备份是可用的,才敢继续动生产环境。这大概就是程序员的人生吧

磁盘满了,清理日志删了 200G,五分钟后又满了。我把相关的记录都翻了出来做对照。我把这个服务的内存上限调大了,它终于不再被系统杀掉。连茶水间都安静了

运维最怕听到的是「这台机器是哪个组在用」。我把它记在心里,没跟任何人说。我确认了备份是可用的,才敢继续动生产环境。我把它写进了组内的避坑文档第一章

这台机器的负载曲线比我的心电图还波动。我默默记下了这句话。我把这个服务的降级开关打开了,核心链路终于保住。这大概就是程序员的人生吧

机房断电二十分钟,UPS 只撑了十五分钟,最后五分钟全靠信念。我先给自己泡了杯茶,做好了打持久战的准备。我把这台机器的磁盘加了清理脚本,临时文件不再失控。真香定律准时生效

这台机器的存活时间已经超过了一千天。我抬起头看了看周围,大家都一样。我登上了这台机器,先看了一眼磁盘,果然是它先撑不住。同事说这波操作可以写进新人培训教材