这个任务的评测集和训练集太像了,指标好看但不真实。我想了想自己这些年,好像确实如此。我把这个特征的缺失值处理方式改了,模型稳定多了。我把这条经验写进了团队 wiki
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我打开了这个任务的日志,发现有几轮是在空跑。这大概就是程序员的人生吧
AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我想反驳,但发现他说得对。我把这个特征的缺失值处理方式改了,模型稳定多了。世界瞬间清净了
我把这个模型的温度调低了,输出稳定但呆板。我默默打开了编辑器,准备一步步验证。我发现评测集和训练集有重叠,之前的指标全是虚高。连茶水间都安静了
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我在心里点了点头。我换了三个 prompt 模板,输出终于稳定了。我把这条经验写进了团队 wiki
这个方向的论文每周都在刷新,追赶是没有尽头的。我默默记下了这句话。我发现评测集和训练集有重叠,之前的指标全是虚高。那一刻我觉得自己还是很专业的
这个任务的线上表现比离线差了一截。我忽然觉得,这可能就是这一行的常态。我把这个模型的批处理大小调小了一点,显存终于够用。好在最后有惊无险
模型的输出很流畅,内容经不起核对。我把它记在心里,没跟任何人说。我把这个任务的评价指标换成了更贴近业务的,分数掉了。我把它写进了组内的避坑文档第一章
这个方向的论文每周都在刷新,追赶是没有尽头的。我抬起头看了看周围,大家都一样。我打开了这个模型的显存占用,发现激活值占了大头。这条经验值直接拉满
换了个更大的模型,效果没提升,显存占用倒是翻了三倍。我把整条链路在心里复盘了一遍。我打开了这个任务的日志,发现有几轮是在空跑。那一刻我觉得自己还是很专业的