VecCheckNan 类详解教程：强化学习中的 NaN 检测与防护

VecCheckNan 类详解教程：强化学习中的 NaN 检测与防护

1. 引言

在强化学习训练过程中，数值稳定性是一个常见且棘手的问题。当环境返回包含NaN（Not a Number）或inf（无穷大）的观测值、奖励值时，可能导致神经网络权重损坏、梯度爆炸，最终使训练崩溃。VecCheckNan是 Stable-Baselines3 提供的一个向量化环境包装器，专门用于检测并处理这类数值异常。

2. VecCheckNan 的核心原理

2.1 工作流程

VecCheckNan采用被动检测 + 主动替换的策略：