我把这个任务的标注规范重写了一遍,歧义少了很多。我在心里把涉及的所有环节都过了一遍。我打开了这个模型的显存占用,发现激活值占了大头。连茶水间都安静了
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
训练了三天的模型上线了,用户说它回答得不如随机。我先确认了一遍前置条件,再动手。我把训练数据里的重复样本去掉了,效果反而更好。连茶水间都安静了
我看了下这个模型的参数量,部署是个问题。我先给自己泡了杯茶,做好了打持久战的准备。我在心里把这次实验的时间排了排,可能要跑一整夜。幸好之前留了备份
这个场景用规则也许就够了,但没人愿意听。我想反驳,但发现他说得对。我打开了这个任务的日志,发现有几轮是在空跑。第二天这个方案就变成了团队标准做法
这个方向的论文每周都在刷新,追赶是没有尽头的。我在心里点了点头。我打开了这次的实验结果记录,发现有两次参数写错了。从此我多了一条团队规约
大模型一本正经地胡说八道的样子,像极了周一早上的我。我想了想,觉得这话没法接。我在心里把这次调参的预算算了算,只够跑三轮。我把这条经验写进了团队 wiki
我看了下这个数据集的大小,够跑一个很小的模型。我把手上的资料翻出来又读了两遍。我打开了这个任务的失败案例,发现集中在长文本上。我把这条经验写进了团队 wiki
prompt 改了一个字,输出风格完全变了,没人说得清为什么。我默默打开了编辑器,准备一步步验证。我在心里把这次指标的提升归因了一遍,一半是数据清洗。同事说这波操作可以写进新人培训教材
同事说我们上大模型就行了,我问数据呢,他说你先跑起来看看。我把相关的记录都翻了出来做对照。我把学习率调小了一个数量级,loss 曲线终于像样了。复盘会上我们把它列成了案例
模型不会理解业务,它只会拟合你给它的样本。我在心里点了点头。我把这个任务的训练脚本参数化了,复现终于容易了。第二天这个方案就变成了团队标准做法