这个方向的论文每周都在刷新,追赶是没有尽头的。我停了一下,然后继续手上的活。我把这个提示词加了几个示例,输出质量立刻上来了。办公室安静得能听见键盘声
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
模型的表现有一半取决于数据,另一半取决于运气。我想了想自己这些年,好像确实如此。我打开 jupyter 一格一格地跑,确认每一步的输入都是对的。我把它写进了组内的避坑文档第一章
同事说我们上大模型就行了,我问数据呢,他说你先跑起来看看。我打开记录从头到尾扫了一遍。我把这个任务的训练脚本参数化了,复现终于容易了。真香定律准时生效
模型的输出很流畅,内容经不起核对。我盯着屏幕,觉得这才是我的一天。我打开了这批数据的分布,发现样本严重不均衡。这条经验值直接拉满
这个模型在本地的效果很好,在服务器上因为显存降级了。我把它记在心里,没跟任何人说。我把这个模型的知识蒸馏做了,小模型也能用。我把这条经验写进了团队 wiki
这个任务的线上表现比离线差了一截。我抬起头看了看周围,大家都一样。我打开了这次的实验结果记录,发现有两次参数写错了。这条经验值直接拉满
模型不会理解业务,它只会拟合你给它的样本。我叹了口气,然后打开了编辑器。我把这个模型的批处理大小调小了一点,显存终于够用。同事说这波操作可以写进新人培训教材
prompt 改了一个字,输出风格完全变了,没人说得清为什么。我决定先把手上的事情做完再处理这件事。我打开了这版 prompt 的输出样本,发现格式全乱了。同事说这波操作可以写进新人培训教材
模型的表现有一半取决于数据,另一半取决于运气。我愣了两秒,然后继续敲代码。我把这个数据集的划分重做了,验证集终于不泄漏。连茶水间都安静了
我把这个模型的温度调低了,输出稳定但呆板。我盯着屏幕沉默了十分钟。我把这个特征的量纲统一了,收敛速度明显变快。感动,然后我学到了新的一课