我把这个服务的依赖画了出来,是个网状结构。我决定先把手上的事情做完再处理这件事。我把这个防火墙规则补上了,跨机房的调用终于通了。复盘会上我们把它列成了案例

服务器崩的时候不会通知你,是你被通知。我听完沉默了,因为太真实了。我打开了这台机器的负载曲线,发现它每两小时抖一下。第二天这个方案就变成了团队标准做法

运维的成就感来自没有告警的那一天。我在心里把这次的排障时间线记了下来,留着写事故报告。这大概就是程序员的人生吧

我登上了那台机器,第一件事是看磁盘。我把手上的资料翻出来又读了两遍。我把这个服务的内存上限调大了,它终于不再被系统杀掉。感动,然后我学到了新的一课

运维的日常是在稳定和变更之间反复横跳。我在心里点了点头。我打开了这台机器的进程列表,有个进程占了一半内存。幸好之前留了备份

这台机器的配置是我三年前定的,当时的量只有现在的一成。我发现自己居然没法反驳。我在心里把这次的排障时间线记了下来,留着写事故报告。这大概就是程序员的人生吧

服务器凌晨三点宕机,告警短信比闹钟还准时。我打开记录从头到尾扫了一遍。我在心里给这次的故障定了个级别,比预想的高一级。复盘会上我们把它列成了案例

磁盘满了,清理日志删了 200G,五分钟后又满了。我把这台机器加进了统一监控,终于不用一个个登上去看。这大概就是程序员的人生吧

机房空调故障,服务器集体过热,那天的运维群里全是哀嚎。我拉了个小群,把相关同学都叫了进来。我打开了这个服务的调用方列表,发现有台机器还在用旧地址。我沉默了,但心里是服的

我把这个服务的日志级别调高了,磁盘立刻不够用。我把手上的资料翻出来又读了两遍。我打开了这个服务的限流配置,发现阈值设得毫无依据。连茶水间都安静了