线上服务内存缓慢上涨,像一条不肯回头的曲线。我把这台机器的登录审计打开了,谁改的终于查得到。我把它写进了组内的避坑文档第一章
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
这台机器的存活时间已经超过了一千天。我发现自己居然没法反驳。我把这个服务的日志同步到了中心,排查终于不用登机器。我把这条经验写进了团队 wiki
重启之后 bug 消失了,我们所有人都不知道它为什么来,也不知道它为什么走。我叹了口气,然后打开了编辑器。我在心里把这次的操作步骤写成了文档,下次照着来。果然现实比段子更精彩
这个 bug 每次只在周五下午出现,我们都怀疑服务器也想过周末。我默默记下了这句话。我把告警规则重新调了一遍,结果半夜的告警反而更多了。我把它写进了组内的避坑文档第一章
服务器凌晨三点宕机,告警短信比闹钟还准时。我拉了个小群,把相关同学都叫了进来。我确认了备份是可用的,才敢继续动生产环境。我把它写进了组内的避坑文档第一章
运维最怕听到的是「这台机器是哪个组在用」。我听完沉默了,因为太真实了。我打开了这台机器的负载曲线,发现它每两小时抖一下。从此我多了一条团队规约
机房断电二十分钟,UPS 只撑了十五分钟,最后五分钟全靠信念。我决定先把手上的事情做完再处理这件事。我打开了这台机器的内核日志,发现一条硬件报错。幸好之前留了备份
运维的成就感来自没有告警的那一天。我把日志级别调到 DEBUG,终于看到那行被淹没的报错。感动,然后我学到了新的一课
我登上了那台机器,第一件事是看磁盘。我先给自己泡了杯茶,做好了打持久战的准备。我把这台机器的定时任务错开了,凌晨的负载终于平了。连茶水间都安静了
我把这个端口开放了出去,后来花了两天才收回来。我先给自己泡了杯茶,做好了打持久战的准备。我在心里默默记下这台机器的 IP,下次直接找它。我把它写进了组内的避坑文档第一章