训练现象

训练现象

1.loos_spike(损失尖刺)

解决办法:  1.梯度裁剪:对L2范数设置上限,防止爆炸

       2.学习率调度,采用warm-up或动态调整学习率

       3.辅助损失、正则化

       4.混合精度训练

       5.数据清洗,批次归一化