换了个更大的模型,效果没提升,显存占用倒是翻了三倍。我把相关的记录都翻了出来做对照。我把训练集重新清洗了一遍,发现脏数据占了百分之十五。这条经验值直接拉满
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
让 AI 写代码,它写得飞快;让我 review,我看得心慌。我盯着屏幕沉默了十分钟。我打开了这个任务的标注规则,发现有两处互相矛盾。我把它写进了组内的避坑文档第一章
大模型一本正经地胡说八道的样子,像极了周一早上的我。我停了一下,然后继续手上的活。我把这个接口的返回做了结构化约束,前端终于好解析。第二天这个方案就变成了团队标准做法
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我想了想,觉得这话没法接。我把这个模型的输出做了兜底,异常时返回默认答案。幸好之前留了备份
调参一周,模型精度提升了 0.3%,领导问我能不能再提升 30%。我盯着屏幕,觉得这才是我的一天。我把这个提示词加了几个示例,输出质量立刻上来了。这大概就是程序员的人生吧
换了个更大的模型,效果没提升,显存占用倒是翻了三倍。我把整条链路在心里复盘了一遍。我把这个模型的知识蒸馏做了,小模型也能用。从此我多了一条团队规约
训练了三天的模型上线了,用户说它回答得不如随机。我重新看了一遍手上的计划,把风险项标了出来。我把这个任务的评测集重做了一遍,指标终于可信了。我把这条经验写进了团队 wiki
我把这个模型的输出格式约束住了,下游终于好接。我把手上的资料翻出来又读了两遍。我在心里给这个方案选了个备选模型,以防主模型不达标。从此我多了一条团队规约
AI 生成的代码一次跑通的时候,比我自己写出来的还开心。我在心里把涉及的所有环节都过了一遍。我在心里把这次实验的变量控制了一遍,只动了一个。我把这条经验写进了团队 wiki
模型的输出很流畅,内容经不起核对。我想反驳,但发现他说得对。我把这个接口的返回做了结构化约束,前端终于好解析。第二天这个方案就变成了团队标准做法