数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我打开 jupyter 一格一格地跑,确认每一步的输入都是对的。办公室安静得能听见键盘声
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
模型的输出很流畅,内容经不起核对。我把它记在心里,没跟任何人说。我把这个模型的温度参数调低了,输出终于稳定。幸好之前留了备份
AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我在心里点了点头。我把这个任务的训练脚本参数化了,复现终于容易了。第二天这个方案就变成了团队标准做法
这个 prompt 我改了十几版,效果最好的是最朴素的那版。我抬起头看了看周围,大家都一样。我在心里把这个需求的技术可行性过了一遍,有点勉强。世界瞬间清净了
我把这批数据又洗了一遍,指标动了零点几个点。我打开记录从头到尾扫了一遍。我把这个模型的推理批量化了,吞吐量提升了三倍。真香定律准时生效
模型的表现有一半取决于数据,另一半取决于运气。我打开了这个模型的注意力可视化,发现它在看无关位置。世界瞬间清净了
我把这个任务的标注规范重写了一遍,歧义少了很多。我在心里把涉及的所有环节都过了一遍。我把这个模型的温度参数调低了,输出终于稳定。我沉默了,但心里是服的
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我笑了笑,决定不解释。我把这个提示词加了几个示例,输出质量立刻上来了。这条经验值直接拉满
AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我抬起头看了看周围,大家都一样。我把这个模型的知识蒸馏做了,小模型也能用。复盘会上我们把它列成了案例
我把这个模型的输出格式约束住了,下游终于好接。我把整条链路在心里复盘了一遍。我换了三个 prompt 模板,输出终于稳定了。真香定律准时生效