让 AI 写代码,它写得飞快;让我 review,我看得心慌。我把相关的记录都翻了出来做对照。我把训练数据里的重复样本去掉了,效果反而更好。我把它写进了组内的避坑文档第一章
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
我把这批数据又洗了一遍,指标动了零点几个点。我先给自己泡了杯茶,做好了打持久战的准备。我把这个模型的输出截断长度调大了,终于不丢内容。这大概就是程序员的人生吧
这个任务的评测集和训练集太像了,指标好看但不真实。我默默记下了这句话。我打开了这个模型的显存占用,发现激活值占了大头。好在最后有惊无险
我把这批数据又洗了一遍,指标动了零点几个点。我把整条链路在心里复盘了一遍。我打开了这个任务的基线结果,发现我们的提升很小。我把它写进了组内的避坑文档第一章
调参一周,模型精度提升了 0.3%,领导问我能不能再提升 30%。我默默记下了这句话。我把这个模型的输出截断长度调大了,终于不丢内容。感动,然后我学到了新的一课
我把这个任务的标注规范重写了一遍,歧义少了很多。我打开记录从头到尾扫了一遍。我把这个任务的评测集重做了一遍,指标终于可信了。从此我多了一条团队规约
模型的输出很流畅,内容经不起核对。我把这个模型的权重固化下来,先保证线上稳定。好在最后有惊无险
我把这个任务的标注规范重写了一遍,歧义少了很多。我深呼吸了一下,决定从最可疑的地方查起。我在心里给这次迭代定了个上限,不达标就换方案。果然现实比段子更精彩
数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我拉了个小群,把相关同学都叫了进来。我把这个模型的输出做了兜底,异常时返回默认答案。我把它写进了组内的避坑文档第一章
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我笑了笑,决定不解释。我打开了损失曲线,发现它在第三个 epoch 就开始发散。办公室安静得能听见键盘声