FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models 📅 发布时间:2026/9/6 23:48:50 👁 浏览次数: 该文章提出了FlexAC框架,旨在解决多模态大型语言模型(MLLMs)在事实准确性与创造力间的固有权衡问题,实现对关联推理强度的灵活控制,同时还引入了新基准并通过实验验证了框架有效性。一、文章主要内容研究背景MLLMs在不同任务中需不同程度的关联推理,但现有方法缺乏调节推理强度的灵活性,在事实类和创意类场景中适应性受限。例如,现有幻觉缓解技术虽提升准确性,却会抑制关联推理能力,导致创意任务表现不佳。受认知科学中发散思维与聚合思维启发,MLLMs需灵活调节关联推理强度以兼顾事实推理与创意生成。核心发现中间层是塑造模型关联倾向的关键,该层中事实性响应与幻觉性响应的表征可清晰区分。修改中间层表征能有效改变关联推理的强度与方向。幻觉性表征的方向可激发关联推理能力,可作为调节的控制信号。FlexAC框架离线控制向量构建阶段:先收集事实-幻觉响应对,提取中间层隐藏特征并计算差异以编码关联方向;再筛选关联偏移最大的Top-K样本对,平均差异得到可靠引导向量;最后结合GPT-4o生成的特定任务高关联样本,构建任务特定关联向量。推理时控制阶段:将通用关联向量与任务特定关联向量注入中间层特征,同时引入引导强度校准机制,根据当前表征与关联方向的对