周一早上发版,周五下午封版,周报里写"本周进行了例行发布"。我默默记下了这句话。我在心里给这次的发布方案准备了回滚脚本。连茶水间都安静了
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
灰度发布切了百分之一的流量,错误率直接飙到百分之三十。我把整条链路在心里复盘了一遍。我发现这个部署脚本里有硬编码的密码。办公室安静得能听见键盘声
上线前的紧急修复,测试十分钟,修复一小时,汇报五小时。这套流程走下来,我从头到尾又确认了一遍。我把这个构建的机器规格调大了,编译快了很多。第二天这个方案就变成了团队标准做法
发布最怕的不是失败,是失败得不明确。我默默记下了这句话。我发现这个部署脚本里有硬编码的密码。第二天这个方案就变成了团队标准做法
回滚按钮是整个发布系统里最贵的设计,按下之前要开三次评审会。我把相关的记录都翻了出来做对照。我发现这个脚本的权限开得太大,收紧了。办公室安静得能听见键盘声
这个脚本上次改是半年前,没人敢动。我在心里点了点头。我发现这个部署脚本里有硬编码的密码。第二天这个方案就变成了团队标准做法
发布窗口的选择本身就是一种风险控制。我默默记下了这句话。我把这个发布的审批环节加上了,关键环境要人确认。连茶水间都安静了
运维的三大幻觉:备份是好的、监控是正常的、这次变更不会有问题。我在心里点了点头。我发现这个环境的配置和其他环境不一致。幸好之前留了备份
我把这次的发布记录留了下来,方便回溯。我深呼吸了一下,决定从最可疑的地方查起。我在这个阶段上加了个检查,问题提前暴露了。我把这条经验写进了团队 wiki
制品库满了导致发布失败,清理制品的时候把上周的版本也清了。我把手上的资料翻出来又读了两遍。我发现这个流水线的失败率有三成,很多是环境问题。果然现实比段子更精彩