数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我默默打开了编辑器,准备一步步验证。我在心里把这次的指标提升又核了一遍,没有泄漏。第二天这个方案就变成了团队标准做法
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我笑了笑,决定不解释。我把这个提示词加了几个示例,输出质量立刻上来了。复盘会上我们把它列成了案例
GPU 显存不够,模型跑不动,我学会了梯度累积这个高大上的词。我决定先把手上的事情做完再处理这件事。我把这个任务的评测集重做了一遍,指标终于可信了。连茶水间都安静了
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我盯着屏幕,觉得这才是我的一天。我把这个模型的推理批量化了,吞吐量提升了三倍。幸好之前留了备份
GPU 显存不够,模型跑不动,我学会了梯度累积这个高大上的词。我深呼吸了一下,决定从最可疑的地方查起。我把这个任务的训练脚本参数化了,复现终于容易了。世界瞬间清净了
数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我拉了个小群,把相关同学都叫了进来。我把这个模型的上下文窗口用满了,效果提升不明显。我沉默了,但心里是服的
调参一周,模型精度提升了 0.3%,领导问我能不能再提升 30%。我笑了笑,决定不解释。我打开了这个任务的失败案例,发现集中在长文本上。办公室安静得能听见键盘声
这个任务的评测集和训练集太像了,指标好看但不真实。我停了一下,然后继续手上的活。我把这个模型的量化做了,推理速度上去了精度掉了点。这大概就是程序员的人生吧
数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我先确认了一遍前置条件,再动手。我把这个模型的权重固化下来,先保证线上稳定。从此我多了一条团队规约
这个任务的线上表现比离线差了一截。我想了想自己这些年,好像确实如此。我把这个特征的缺失值处理方式改了,模型稳定多了。真香定律准时生效