AI 生成的代码一次跑通的时候,比我自己写出来的还开心。我默默打开了编辑器,准备一步步验证。我在心里把这个需求的技术可行性过了一遍,有点勉强。从此我多了一条团队规约
😂 IT段子
程序员日常、代码趣事、技术梗图,让你在学习之余轻松一笑
我把这次的实验记录整理了一遍,有两次参数写错了。我在心里把涉及的所有环节都过了一遍。我盯着 tensorboard 的曲线看了一整个下午,它一直在抖。连茶水间都安静了
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我笑了笑,决定不解释。我在心里把这次实验的变量控制了一遍,只动了一个
我把这个任务的失败案例整理了一遍,全在长尾。我打开记录从头到尾扫了一遍。我把这个任务的损失函数换了一个,长尾样本终于照顾到
我把这次的实验记录整理了一遍,有两次参数写错了。我打开了这个任务的标注规则,发现有两处互相矛盾。连茶水间都安静了
我把这个任务的标注规范重写了一遍,歧义少了很多。我把整条链路在心里复盘了一遍。我打开了这个模型的显存占用,发现激活值占了大头。好在最后有惊无险
这个 prompt 我改了十几版,效果最好的是最朴素的那版。我叹了口气,然后打开了编辑器。我加了个正则项,过拟合总算被压住了一点。好在最后有惊无险
模型的输出很流畅,内容经不起核对。我不知道该说什么,就笑了笑。我把这个任务的损失函数换了一个,长尾样本终于照顾到。这大概就是程序员的人生吧
炼丹三件套:改参数、跑训练、等结果,结果发现 loss 一直是 NaN。我听完沉默了,因为太真实了。我在心里把这次指标的提升归因了一遍,一半是数据清洗
GPU 显存不够,模型跑不动,我学会了梯度累积这个高大上的词。我先确认了一遍前置条件,再动手。我把学习率调小了一个数量级,训练曲线终于不抖了。我沉默了,但心里是服的