最近在调一个基于情景记忆的深度强化学习项目时我发现了一个很有意思的现象同一套记忆模块在稀疏奖励环境下能明显提升探索效率可一旦把外层奖励改成带有 reward shaping 的稠密信号记忆模块的增益反而变得很不稳定甚至在某些 seed 下拖慢收敛。顺着这个现象查下去问题的核心其实不在记忆模块本身而在奖励结构Reward Structure与情景探索Episodic Exploration、神经记忆Neural Memory三者之间的耦合关系。这篇博文围绕 Reward Structure Shapes the Interaction Between Episodic Exploration and Neural Memory in Reinforcement Learning 这个主题展开先拆解三个概念各自的定位再分析奖励结构如何影响记忆系统的存储、检索与探索决策最后用一个可运行的网格世界实验对比四种奖励配置帮助有强化学习基础的读者快速建立直觉。如果你也在做基于记忆的 RL 算法或者正在为稀疏奖励环境设计探索奖励这篇文章应该能给你一些可落地的参考。1. 三个核心概念先理清楚1.1 奖励结构是什么奖励结构不是单指“奖励值是多少”而是指奖励信号的分布、密度、尺度、时延和来源组合。比如任务只在终点给 1其余位置为 0这是稀疏奖励。每一步根据当前状态给出连续反馈例如基于距离的负奖励这是稠密奖励。在外部环境奖励之外额外添加“好奇心”“新异性”等内部信号这是内在奖励。通过势能函数把远期目标转换成每一步的增量反馈这是 reward shaping。奖励结构会改变两个东西一是策略优化的目标面二是每个状态-动作对可学习信号的密度。后者直接决定了探索策略能否从历史经验中获得有效指导也决定了记忆系统保存下来的经验是否有足够的“信息量”。1.2 情景探索是什么传统 epsilon-greedy 探索本质上是盲目的随机尝试哪怕某个区域已经被反复确认“没有收益”它依然会以固定概率去重复访问。情景探索Episodic Exploration的思路不同它利用过去完整的 episode 片段或短期的状态记忆去判断当前状态附近是否值得再次探索。典型工作如 Never Give Up、Episodic Curiosity 等都会维护一个短期情景记忆缓冲区。当智能体处在一个新状态时通过查询记忆缓冲区判断该状态与历史访问过的状态有多相似。如果相似度低说明这是一个“新鲜”状态给一个较高的内在奖励如果相似度高则说明已经来过很多次内在奖励衰减。情景探索因此不是均匀随机地试错而是“哪里陌生去哪里”能够把探索资源集中在真正未知的区域。1.3 神经记忆在这里扮演什么角色神经记忆Neural Memory在 RL 里有多种形态显式缓冲区存储状态、动作、奖励、下一状态等转移数据使用时通过近邻检索或注意力机制读取。网络参数记忆用神经网络隐式保存长期经验例如 RNN 的隐藏状态或 transformer 中的上下文。记忆增强网络通过可微的外部存储结构如 DNC、MERLIN读写历史信息。在情景探索框架中神经记忆主要负责两个功能存储有代表性的状态表征在决策时检索与当前状态最相似的历史样本。记忆模块越准确探索信号越稳定反过来如果记忆模块写入的是噪声经验探索奖励也会被污染。2. 奖励结构所有交互的“底层坐标系”2.1 稀疏奖励会放大记忆的价值稀疏奖励环境下外部奖励长时间为 0智能体无法从每一步中判断自己是否离目标更近。此时情景记忆提供的内在奖励成了唯一连续的信号来源。这里有一个关键机制记忆模块通过相似度比较产生 novelty 信号这个信号本身就是一种“稠密化的奖励替代品”。智能体在稀疏外部奖励下会转而依赖“我是否去过这里”“这里和过去某个高回报片段是否相似”来指导下一步。这也是很多基于好奇心或记忆的方法在稀疏奖励环境中表现突出的原因。但当外部奖励非常稀疏时记忆模块必须足够敏感。如果记忆存储的是原始像素相似度计算容易被无关背景主导如果存储的是学习到的状态表征则需要表征模型本身具备足够的泛化能力。2.2 稠密奖励可能掩盖记忆信号如果任务本身提供了稠密且有意义的奖励情景记忆的 novelty 信号反而可能变成噪声。比如一个机器人控制任务每一步都有基于关节角度、末端坐标的连续惩罚项。智能体已经能从这些外部信号中获得明确的改进方向此时额外叠加一个“去陌生状态”的内在奖励可能会诱导策略偏离最优路径专门去访问那些状态空间中无意义的新区域。这说明奖励结构决定了记忆信号应不应该被放大。在奖励本身信息量充足时记忆系统更应该充当辅助角色而不是主导探索方向。2.3 奖励尺度影响记忆相似度权重的平衡设计者在组合外部奖励和记忆内在奖励时通常会写total_reward external_reward eta_ir * intrinsic_reward这里的 eta_ir 就是两类奖励的平衡系数。但很多人忽略了一点外部奖励本身也有尺度差异。若外部奖励范围在 [-1, 1]eta_ir 取 0.1 可能刚好若外部奖励范围在 [-100, 100]eta_ir 取 0.1 就几乎不起作用。奖励尺度决定了记忆内在奖励需要多大的权重才能参与策略优化这一点在实验中非常容易踩坑。2.4 势能塑形会平滑记忆回溯基于势能的 reward shaping 公式是F(s, s) gamma * phi(s) - phi(s)其中 phi(s) 表示状态 s 的势能函数。势能塑形的好处是理论上不改变最优策略。当设计者给外部奖励加上势能塑形后每一步的奖励信号都变成“势能增量 环境奖励”的组合。此时记忆系统中存储的 episode 回报也会被塑形信号影响在回溯相似片段时算法会倾向于认为“势能上升的片段”更有价值这实际上起到了平滑记忆回溯的作用。但这里要注意如果 phi 函数设计不准确或者塑形奖励引入了局部误导记忆系统会把“势能上升但全局并不优”的片段标记为高价值导致探索方向偏离全局最优。3. 奖励结构如何具体影响情景探索与神经记忆3.1 决定记忆该存储“什么”奖励结构会直接影响记忆模块的写入策略。在稀疏奖励下一个片段只有在末端获得 1 时才有明显高回报因此记忆系统应该重点保存这些“关键片段”尤其是终点附近的状态转移。相反在稠密奖励下每个转移都有足够的奖励信号记忆存储可以更平均地覆盖整个状态空间。如果不管奖励结构机械地往记忆缓冲区写入所有转移数据会出现两个问题稀疏环境下大部分转移的奖励为 0缓冲区被无信息数据占满检索时无法高效命中高价值片段。稠密环境下记忆缓冲区中的片段差异不明显相似度检索结果趋于均匀内在奖励失去区分度。3.2 决定记忆检索结果的“解释方式”奖励结构还会影响智能体如何解释记忆检索结果。假如记忆库中保存了一批历史经验当智能体发现当前状态与某个历史片段非常相似时它需要判断“这段记忆对我来说意味着什么”。如果历史片段对应的累计回报很高相似度高就代表值得尝试如果历史片段对应的回报很低甚至为负相似度高反而代表应该避开。但这个判断不是固定的。同一个历史片段在稀疏奖励下可能因为一次偶然成功被标记为高价值而在引入 reward shaping 后成功路径周围的状态都会获得较高塑形奖励记忆库中对“好状态”的刻画会变得更平滑。设计奖励结构时如果能让奖励信号呈现出合理的梯度记忆系统检索出的结果自然更可信。3.3 决定探索策略的“随机性温度”有些方法会基于记忆检索到的相似回报动态调整探索概率。例如当记忆检索结果一致显示“当前区域收益高”时降低随机探索当记忆检索结果显示“当前区域不确定性大”时提高随机探索。这种机制在稠密奖励环境下容易出现振荡因为外部奖励处处存在但局部最优多记忆检索结果会频繁波动探索策略的温度参数也随之震荡。相比之下稀疏奖励环境下只有少数高价值片段会影响记忆检索探索概率的调整会更稳定。换句话说相同记忆代码在不同奖励结构下会表现出完全不同的探索节奏。4. 一个可运行的对比实验网格世界中的奖励结构测试为了把上面的机制讲透这里设计了一个简单的网格世界实验。环境是 8x8 的网格起点在左上角 (0, 0)终点在右下角 (7, 7)。智能体可以执行上下左右四个动作碰到边界时位置不变。到达终点获得 1 奖励并结束本回合其他情况的原始环境奖励为 0。我们对比四种配置SPARSE只用外部稀疏奖励。SPARSE IR外部稀疏奖励 情景记忆内在奖励。SHAPING外部稀疏奖励 基于曼哈顿距离的势能塑形。SHAPING IR外部稀疏奖励 势能塑形 情景记忆内在奖励。为了简化实现使用的算法是表格型 Q-learning记忆模块直接保存坐标状态并用欧氏距离代表状态相似度。这个实验的目的不是复现 SOTA而是展示奖励结构如何改变记忆模块的作用路径。4.1 完整代码import numpy as np GRID_SIZE 8 START (0, 0) GOAL (7, 7) ACTIONS [(0, -1), (0, 1), (-1, 0), (1, 0)] ACTION_NAMES [up, down, left, right] def step(state, action): x, y state dx, dy ACTIONS[action] nx, ny x dx, y dy if nx 0 or nx GRID_SIZE or ny 0 or ny GRID_SIZE: nx, ny x, y next_state (nx, ny) if next_state GOAL: return next_state, 1.0, True return next_state, 0.0, False def potential_shaping(state, next_state, gamma0.99): def phi(s): return -abs(s[0] - GOAL[0]) - abs(s[1] - GOAL[1]) return gamma * phi(next_state) - phi(state) class EpisodicMemory: def __init__(self, capacity500, sigma1.0): self.capacity capacity self.sigma sigma self.buffer [] def query_similarity(self, state): if len(self.buffer) 0: return 0.0 st np.array(state, dtypefloat) dists [np.linalg.norm(st - np.array(s, dtypefloat)) for s in self.buffer] min_dist min(dists) return float(np.exp(-(min_dist ** 2) / (2 * self.sigma ** 2))) def remember(self, state): if len(self.buffer) self.capacity: self.buffer.pop(0) self.buffer.append(state) def intrinsic_reward(memory, state): # 越陌生的状态内在奖励越大 return 1.0 - memory.query_similarity(state) def train(use_shapingFalse, use_irFalse, alpha0.1, gamma0.99, epsilon0.1, episodes1000, ir_weight0.5): q np.zeros((GRID_SIZE, GRID_SIZE, len(ACTIONS))) memory EpisodicMemory() if use_ir else None success [] for ep in range(episodes): state START done False while not done: if np.random.rand() epsilon: action np.random.randint(len(ACTIONS)) else: action int(np.argmax(q[state[0], state[1], :])) next_state, ext_rew, done step(state, action) reward ext_rew if use_shaping: reward potential_shaping(state, next_state) if use_ir and memory is not None and not done: r_ir intrinsic_reward(memory, next_state) reward ir_weight * r_ir memory.remember(next_state) best_next 0.0 if done else np.max(q[next_state[0], next_state[1], :]) td_target reward gamma * best_next q[state[0], state[1], action] alpha * (td_target - q[state[0], state[1], action]) state next_state success.append(1 if state GOAL else 0) return success def moving_average(data, window50): return np.convolve(data, np.ones(window) / window, modevalid) if __name__ __main__: exp_configs { SPARSE: (False, False), SPARSE IR: (False, True), SHAPING: (True, False), SHAPING IR: (True, True), } results {} for name, (use_shaping, use_ir) in exp_configs.items(): success train(use_shapinguse_shaping, use_iruse_ir, episodes1000) results[name] moving_average(success, 50) print(f{name}: final success rate {np.mean(success[-50:]):.3f})4.2 代码关键点说明第一个关键点是内在奖励的写入顺序。我在每个非终止转移后先查询 next_state 的相似度再把 next_state 写入记忆缓冲区。这样智能体第一次进入某个状态时查询结果为空相似度为 0内在奖励最大随着该状态反复被访问相似度升高内在奖励逐步衰减。这符合“新异状态驱动探索”的直觉。第二个关键点是势能塑形只依赖曼哈顿距离。由于 phi 是到终点的负距离每次移动如果让智能体更靠近终点塑形奖励为正远离终点则塑形奖励为负。这种方法能快速给每一步提供方向信息。第三个关键点是内在奖励与外部奖励的组合权重。代码中 ir_weight 取 0.5这个值在不同环境中需要重新调整。如果外部奖励尺度很大ir_weight 需要更大如果外部奖励尺度小ir_weight 则需要适当调小。4.3 预期结果与解释在 8x8 网格中四种配置的大致表现是SPARSE收敛最慢因为只有到达终点才能获得一次非零奖励随机探索偶发到达终点后Q 表才开始传播奖励。SPARSE IR明显比纯 SPARSE 更快发现终点因为内在奖励会引导智能体去访问未到达过的区域覆盖率提高。SHAPING收敛通常比 SPARSE 快因为每一步都有方向性反馈智能体很快学会沿着曼哈顿距离下降的方向移动。SHAPING IR收益不一定叠加。合理设置 ir_weight 时可以进一步改善探索但如果 ir_weight 过大智能体会过度追求新异状态反而绕远路。实际运行结果会因为随机种子和超参产生波动但这几种配置的相对趋势基本稳定。你可以在自己的环境中多跑几个 seed 取平均。5. 从玩具实验到大规模 RL 工程需要额外考虑的问题5.1 记忆模块的状态表征网格世界中坐标可以直接作为状态表征但真实环境下状态空间通常是高维连续向量。此时我们需要先学习一个表征模型把原始状态映射到语义空间再在语义空间中进行相似度检索。常见方案有用随机初始化的卷积网络对图像状态做嵌入。用对比学习训练状态表征使相似状态在嵌入空间距离更近。用逆动力学模型训练表征使表征保留与决策相关的信息。表征质量决定了记忆检索的可靠性如果表征不区分关键状态记忆系统会给出偏差很大的 novelty 信号。5.2 记忆缓冲区的读写策略网格世界例子中记忆缓冲区采用最简单的 FIFO 淘汰策略。真实环境下更推荐用两类策略基于优先级优先保留有高外部奖励、高 TD 误差、高 novelty 的片段。基于覆盖率尽量让缓冲区覆盖更大的状态空间避免集中在少数区域。另外要注意写入频率。如果每个 step 都写入一次记忆某些环境中缓冲区会被大量相似状态刷屏导致检索结果失去区分度。可以先做去重或者对相似度高于阈值的状态不重复写入。5.3 奖励信号组装需要可配置化在实际工程中外部奖励、塑造奖励、内在奖励通常来自不同模块。建议把奖励组装写成独立函数def compute_total_reward(ext_reward, shaping_reward, novelty_signal): return ext_reward shaping_reward eta_ir * novelty_signal这样在跑实验时可以方便地开关不同奖励项也能用同样的代码快速复现不同论文的设定。5.4 多智能体与序列决策场景如果你关注多智能体强化学习会发现奖励结构的影响更复杂。每个智能体的动作会影响其他智能体的奖励视图而共享记忆或通信机制又会进一步耦合各智能体的探索路径。近期一些工作尝试用 Bayesia-style 的方法对动作进行概率解码核心也是希望在一个不确定的联合动作空间中重建更稳定的奖励信号。这类方法对记忆同步和奖励归一化的要求比单智能体更高后续如果大家感兴趣我可以再拆一篇多智能体奖励结构与动作解码的专题。6. 常见问题与排查思路问题现象常见原因解决思路加上记忆模块后性能反而下降内在奖励权重过大探索信号压制了外部奖励调小 ir_weight或对内在奖励做尺度归一化记忆缓冲区很快满检索结果区分度低写入太频繁大量相似状态占满缓冲区增加去重逻辑或使用基于优先级的淘汰策略稀疏环境下记忆模块一开始探索很慢状态表征未学习好相似度计算不准确先单独训练表征模型或使用随机但足够强的特征稠密环境下策略被记忆信号带偏外部奖励信息已足够记忆信号成了噪声在训练后期衰减 ir_weight或设置记忆奖励的上限加入 shaping 后记忆回溯不稳定塑形奖励尺度与内在奖励不匹配对两类奖励分别做 running normalization相同代码跑不同 seed 结果差异大记忆检索依赖随机初始化探索路径不稳定固定 seed 调试最终指标取多次运行的平均值7. 最佳实践与工程建议7.1 先固定奖励结构再调记忆模块建议在实验设计阶段先确定外部奖励和必要的塑形奖励再考虑要不要加情景记忆。不要一上来就把所有奖励信号全部叠加否则出现问题时分不清是哪个模块导致的。我的习惯是先在无记忆基线下调好奖励结构再加记忆模块观察增量效果。7.2 对奖励信号做归一化无论是外部奖励、塑造奖励还是内在奖励尺度差异过大都会让 Q 网络或值函数学习不稳定。工程上可以对奖励流做 adaptive normalization或者简单地对内在奖励除以一个运行均值使其保持在 0~1 之间。7.3 记录记忆检索统计指标调试阶段可以打印以下指标缓冲区大小和去重比例。每个 episode 中内在奖励的平均值。检索到的最相似历史样本对应的回报。策略处于探索模式 / 利用模式的时间占比。这些指标比只看累计奖励更能帮助你定位记忆模块是否正常工作。7.4 关注训练后期的记忆衰减训练初期探索新状态很重要训练后期策略基本成型此时持续加入高内在奖励会破坏收敛。建议在训练过程中让 ir_weight 随训练进度衰减或者设计一个阈值当外部奖励逐步提升时自动降低内在奖励的参与度。7.5 注意可复现性和安全边界做算法实验时记得固定所有随机种子并记录每类奖励的权重和归一化参数。涉及生产环境或真实控制系统时对奖励信号的修改要先做离线测试确保不会因为某些异常状态的记忆查询产生极端奖励从而引发危险动作。8. 总结这篇文章从一个实际项目现象切入梳理了奖励结构如何影响情景探索与神经记忆之间的交互关系。核心结论有三点第一稀疏奖励会放大记忆模块的价值因为记忆提供的内在奖励是唯一连续信号。第二稠密奖励可能掩盖记忆信号此时要控制内在奖励的权重否则会干扰策略优化。第三奖励尺度会影响记忆相似度与外在奖励的平衡工程上需要做归一化处理。文中给出的网格世界代码是一个最小可运行示例你可以把它作为记忆模块与奖励结构交互测试的脚手架替换成自己的环境、状态表征和强化学习算法。如果后续想进一步研究可以重点看一下“状态表征学习 episodic memory 内在奖励”组合以及多智能体场景下的奖励分解问题。如果本文对你有帮助可以收藏备用也欢迎在评论区聊聊你在强化学习奖励设计上踩过的坑。