AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我默默记下了这句话。我把这个任务的训练脚本参数化了,复现终于容易了。好在最后有惊无险

这个指标的提升来自数据泄漏,不是模型。我叹了口气,然后打开了编辑器。我把显存占用打出来一看,光激活值就占了七成。办公室安静得能听见键盘声

大模型一本正经地胡说八道的样子,像极了周一早上的我。我把它记在心里,没跟任何人说。我把这个模型的服务封装成了接口,调用方终于统一了。那一刻我觉得自己还是很专业的

数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我把这个任务的评价指标换成了更贴近业务的,分数掉了。第二天这个方案就变成了团队标准做法

这个模型在本地的效果很好,在服务器上因为显存降级了。我愣了两秒,然后继续敲代码。我把这批数据重新洗了一遍,模型的输出终于正常了。那一刻我觉得自己还是很专业的

炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我默默记下了这句话。我把这个模型的输出截断长度调大了,终于不丢内容。复盘会上我们把它列成了案例

数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我默默打开了编辑器,准备一步步验证。我把这个任务拆成了两步,中间结果可以人工校验。第二天这个方案就变成了团队标准做法

这个任务的评测集和训练集太像了,指标好看但不真实。我笑了笑,决定不解释。我把学习率调小了一个数量级,loss 曲线终于像样了。我把这条经验写进了团队 wiki

这个模型在本地的效果很好,在服务器上因为显存降级了。我在心里点了点头。我打开了这个模型的显存占用,发现激活值占了大头。第二天这个方案就变成了团队标准做法

这个场景用规则也许就够了,但没人愿意听。我忽然觉得,这可能就是这一行的常态。我把这个特征的量纲统一了,收敛速度明显变快。连茶水间都安静了