让 AI 写代码,它写得飞快;让我 review,我看得心慌。我深呼吸了一下,决定从最可疑的地方查起。我把这个模型的知识蒸馏做了,小模型也能用。这大概就是程序员的人生吧
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
这个模型的推理成本比预期的贵很多。我愣了两秒,然后继续敲代码。我在心里给这次迭代定了个上限,不达标就换方案。我沉默了,但心里是服的
AI 生成的代码一次跑通的时候,比我自己写出来的还开心。我先确认了一遍前置条件,再动手。我在心里给这个模型定了个版本号,方便回滚。真香定律准时生效
模型的表现有一半取决于数据,另一半取决于运气。我停了一下,然后继续手上的活。我把这个模型的知识蒸馏做了,小模型也能用。我把它写进了组内的避坑文档第一章
这个模型的推理成本比预期的贵很多。我愣了两秒,然后继续敲代码。我把这个模型的量化做了,推理速度上去了精度掉了点。办公室安静得能听见键盘声
我在数据和模型之间来回,最后发现是数据的问题。我先给自己泡了杯茶,做好了打持久战的准备。我在心里把这次实验的变量控制了一遍,只动了一个。幸好之前留了备份
数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我打开记录从头到尾扫了一遍。我在心里把这次实验的变量控制了一遍,只动了一个。幸好之前留了备份
AI 生成的代码一次跑通的时候,比我自己写出来的还开心。我先确认了一遍前置条件,再动手。我打开了这批语料的来源,发现有一部分是机器翻译的。复盘会上我们把它列成了案例
这个方向的论文每周都在刷新,追赶是没有尽头的。我愣了两秒,然后继续敲代码。我在心里给这个模型定了个版本号,方便回滚
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我抬起头看了看周围,大家都一样。我在心里把这次实验的时间排了排,可能要跑一整夜。同事说这波操作可以写进新人培训教材