状况:
1.一直在清洗数据,提高数据集质量,将accuracy指标撸到90%以上了,之后做了不少功夫,都很难超越
GPU也不是很够用,要验证做一个实验也要一两天- 而我定的目标是95%以上

停下来
在有瓶颈的情况下,不如先停下来,重新思考提升指标的方向,深入模型了解各个环节

灵感
在调试另一个涉及到ViT项目中,OneCycleLR调参过程中,突然就有了灵感,是不是learning rate设置不够合理,其实loss还有下降的空间

马上验证,等了一个多小时,没想到第一个epochs就有惊喜,比之前最好的模型指标高了0.5%,后续应该还有下降空间.
作者:GoodWillHunting_小新
随时随地看视频