我把这个服务的依赖画了出来,是个网状结构。我把相关的记录都翻了出来做对照。我 SSH 上去第一件事就是看磁盘和内存,果然都不太健康。我把这条经验写进了团队 wiki
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
我把这次的变更记了下来,下次至少有个参考。我在心里把涉及的所有环节都过了一遍。我把这台机器的磁盘加了清理脚本,临时文件不再失控。我把它写进了组内的避坑文档第一章
我把这个服务的依赖画了出来,是个网状结构。我在心里把涉及的所有环节都过了一遍。我在心里把这次变更的影响面圈了一下,涉及到三个机房。我把这条经验写进了团队 wiki
服务器凌晨三点宕机,告警短信比闹钟还准时。我把整条链路在心里复盘了一遍。我打开了这台机器的内核日志,发现一条硬件报错。第二天这个方案就变成了团队标准做法
rm -rf 的传说每个运维都听过,每个运维都庆幸自己还没经历过。我叹了口气,然后打开了编辑器。我在心里把这次的操作步骤写成了文档,下次照着来。幸好之前留了备份
线上服务内存缓慢上涨,像一条不肯回头的曲线。我想了想自己这些年,好像确实如此。我在心里给这次的容量扩了倍,结果只用了一半。幸好之前留了备份
rm -rf 的传说每个运维都听过,每个运维都庆幸自己还没经历过。我愣了两秒,然后继续敲代码。我把这台机器的网卡队列调了一下,丢包终于没了。幸好之前留了备份
磁盘满了,清理日志删了 200G,五分钟后又满了。我先给自己泡了杯茶,做好了打持久战的准备。我在心里给这次的故障写了个复盘提纲,还没落笔。果然现实比段子更精彩
机房断电二十分钟,UPS 只撑了十五分钟,最后五分钟全靠信念。我在心里把涉及的所有环节都过了一遍。我把这个服务的连接池预热加上了,第一波流量终于稳了。我把它写进了组内的避坑文档第一章
磁盘满了,清理日志删了 200G,五分钟后又满了。我默默打开了编辑器,准备一步步验证。我把这个服务的资源限制加上了,它不能再吃满整台机器。那一刻我觉得自己还是很专业的