051、学习率调度策略对比：Cosine、Step、OneCycle、ReduceLROnPlateau 的选型与效果

051、学习率调度策略对比：Cosine、Step、OneCycle、ReduceLROnPlateau 的选型与效果

一个让我熬夜三天的bug

去年做YOLOv6的工业缺陷检测项目，模型在训练集上loss降得挺漂亮，验证集mAP却像心电图一样上下乱跳。我盯着tensorboard看了两个小时，发现每次loss plateau之后，模型就开始震荡。当时用的StepLR，每30个epoch把lr砍到十分之一，结果砍完的瞬间验证集mAP直接掉3个点，再花20个epoch慢慢爬回来。后来换成CosineAnnealing，震荡没了，但收敛速度慢得像蜗牛。最后试了OneCycle，mAP从0.72直接干到0.81，训练时间还缩短了40%。

这个经历让我意识到，学习率调度不是调参的锦上添花，而是决定模型能不能收敛到好位置的命门。今天就把我踩过的坑和总结的经验全盘托出。

四种调度策略的底层逻辑

StepLR：简单粗暴但容易翻车

StepLR的逻辑就是每隔固定步数把lr乘以一个gamma。比如gamma=0.1，step_size=30，那第30个epochlr从0.01变成0.001，第60个epoch变成0.0001。

什么时候用？当你对数据集和模型非常熟悉，知道大概多少epoch能收敛到瓶颈时。比如在COCO上训YOLOv8，经验上100epoch