2024长文本提示词压缩全攻略

2024长文本提示词压缩全攻略

长文本提示词压缩全景指南:从「删词」到「压缩隐向量」的全部主流方案

目录

  • 长文本提示词压缩全景指南:从「删词」到「压缩隐向量」的全部主流方案
    • 一、为什么长上下文还是要压缩?
    • 二、六大流派全景图
    • 三、方案 1:选择式压缩(Selective / Token-Drop)
      • 核心思想
      • 代表工作
        • 3.1 Selective Context (Li et al., 2023)
        • 3.2 LLMLingua 系列(微软,最流行)
      • 一行代码上手
      • 优缺点
    • 四、方案 2:摘要式压缩(Summarization-based)
      • 核心思想
      • 常见套路
        • 4.1 单次摘要
        • 4.2 MapReduce(分块摘要)
        • 4.3 Refine(迭代精炼)
        • 4.4 Hierarchical Tree(层次树)
      • 优缺点
    • 五、方案 3:检索式压缩 (RAG)
      • 核心思想
      • 现代 RAG 的关键升级
      • 优缺点
    • 六、方案 4:Soft Prompt 压缩(隐向量压缩)
      • 核心思想
      • 代表工作
        • 6.1 Gisting (Snell et al., 2023)
        • 6.2 AutoCompressor (Chevalier et al., 2023)
        • 6.3 ICAE - In-Context Autoencoder (Ge et al., 2024)
        • 6.4 xRAG (Cheng et al., 2024)
      • 优缺点
    • 七、方案 5:Memory Token / 循环记忆
      • 核心思想
      • 代表工作
      • 与方案 4 的区别
    • 八、方案 6:KV Cache 压缩(底层机制)
      • 核心思想
      • 代表工作
        • 8.1 StreamingLLM (Xiao et al., 2023)
        • 8.2 H2O - Heavy Hitter Oracle (Zhang et al., 2023)
        • 8.3 SnapKV (Li et al., 2024)
        • 8.4 KV Cache 量化
      • 优缺点
    • 九、六种方案横向对比
    • 十、实战选型:8 种典型场景该用什么
    • 十一、组合使用:真实企业级方案
    • 十二、代码:搭一个"最小可用"的压缩管线
    • 2025—2026 年前沿趋势
    • 总结

当上下文窗口从 4K 涨到 200K、1M、10M,我们真的还需要压缩吗?答案是:比以前更需要。因为窗口大了,但成本、延迟、“lost in the middle” 这三座大山越来越重。

本文系统梳理2023—2026 年主流的长文本提示词压缩方案,按"改造深度"从浅到深分为 6 大类,每类给出核心思想、代表工作、优缺点、适用场景、可运行代码。


一、为什么长上下文还是要压缩?

先厘清一个误区:“上下文窗口大 ≠ 可以直接塞很长的 prompt”。真实工程里长 prompt 有三个致命问题:

问题具体表现
成本爆炸GPT-4 Turbo 128K 上下文 = 单次调用 $1.28 起,10 万次就是 12.8 万美元
延迟劣化Attention 是 O(N²),Prefill 时长随长度平方级增长
注意力涣散“Lost in the middle” 现象:中间信息被模型忽略,Recall 骤降到 30% 以下