这个模型在本地的效果很好,在服务器上因为显存降级了。我笑了笑,决定不解释。我把这个任务拆成了两步,中间结果可以人工校验。果然现实比段子更精彩
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
GPU 显存不够,模型跑不动,我学会了梯度累积这个高大上的词。我把手上的资料翻出来又读了两遍。我打开了这个任务的耗时分布,发现瓶颈在数据加载。第二天这个方案就变成了团队标准做法
大模型一本正经地胡说八道的样子,像极了周一早上的我。我把它记在心里,没跟任何人说。我把这个模型的温度参数调低了,输出终于稳定。那一刻我觉得自己还是很专业的
我看了下这个数据集的大小,够跑一个很小的模型。我先给自己泡了杯茶,做好了打持久战的准备。我把这个模型的上下文窗口用满了,效果提升不明显。好在最后有惊无险
同事说我们上大模型就行了,我问数据呢,他说你先跑起来看看。我先给自己泡了杯茶,做好了打持久战的准备。我在心里把这个需求的技术可行性过了一遍,有点勉强。从此我多了一条团队规约
AI 会取代程序员吗?会,但先取代的是不学 AI 的程序员。我叹了口气,然后打开了编辑器。我打开了这个任务的标注规则,发现有两处互相矛盾。幸好之前留了备份
AI 生成的代码一次跑通的时候,比我自己写出来的还开心。我拉了个小群,把相关同学都叫了进来。我把这个模型的知识蒸馏做了,小模型也能用。从此我多了一条团队规约
数据标注团队标了一个月,模型学到了一个惊天规律:图片角落的水印。我深呼吸了一下,决定从最可疑的地方查起。我在心里给这个方案选了个备选模型,以防主模型不达标。真香定律准时生效
prompt 改了一个字,输出风格完全变了,没人说得清为什么。我盯着屏幕沉默了十分钟。我打开 jupyter 一格一格地跑,确认每一步的输入都是对的
我把这个模型的温度调低了,输出稳定但呆板。我把整条链路在心里复盘了一遍。我把这个模型的服务封装成了接口,调用方终于统一了。复盘会上我们把它列成了案例