长文本提示词压缩全景指南:从「删词」到「压缩隐向量」的全部主流方案
目录
- 长文本提示词压缩全景指南:从「删词」到「压缩隐向量」的全部主流方案
- 一、为什么长上下文还是要压缩?
- 二、六大流派全景图
- 三、方案 1:选择式压缩(Selective / Token-Drop)
- 核心思想
- 代表工作
- 3.1 Selective Context (Li et al., 2023)
- 3.2 LLMLingua 系列(微软,最流行)
- 一行代码上手
- 优缺点
- 四、方案 2:摘要式压缩(Summarization-based)
- 核心思想
- 常见套路
- 4.1 单次摘要
- 4.2 MapReduce(分块摘要)
- 4.3 Refine(迭代精炼)
- 4.4 Hierarchical Tree(层次树)
- 优缺点
- 五、方案 3:检索式压缩 (RAG)
- 核心思想
- 现代 RAG 的关键升级
- 优缺点
- 六、方案 4:Soft Prompt 压缩(隐向量压缩)
- 核心思想
- 代表工作
- 6.1 Gisting (Snell et al., 2023)
- 6.2 AutoCompressor (Chevalier et al., 2023)
- 6.3 ICAE - In-Context Autoencoder (Ge et al., 2024)
- 6.4 xRAG (Cheng et al., 2024)
- 优缺点
- 七、方案 5:Memory Token / 循环记忆
- 核心思想
- 代表工作
- 与方案 4 的区别
- 八、方案 6:KV Cache 压缩(底层机制)
- 核心思想
- 代表工作
- 8.1 StreamingLLM (Xiao et al., 2023)
- 8.2 H2O - Heavy Hitter Oracle (Zhang et al., 2023)
- 8.3 SnapKV (Li et al., 2024)
- 8.4 KV Cache 量化
- 优缺点
- 九、六种方案横向对比
- 十、实战选型:8 种典型场景该用什么
- 十一、组合使用:真实企业级方案
- 十二、代码:搭一个"最小可用"的压缩管线
- 2025—2026 年前沿趋势
- 总结
当上下文窗口从 4K 涨到 200K、1M、10M,我们真的还需要压缩吗?答案是:比以前更需要。因为窗口大了,但成本、延迟、“lost in the middle” 这三座大山越来越重。
本文系统梳理2023—2026 年主流的长文本提示词压缩方案,按"改造深度"从浅到深分为 6 大类,每类给出核心思想、代表工作、优缺点、适用场景、可运行代码。
一、为什么长上下文还是要压缩?
先厘清一个误区:“上下文窗口大 ≠ 可以直接塞很长的 prompt”。真实工程里长 prompt 有三个致命问题:
| 问题 | 具体表现 |
|---|---|
| 成本爆炸 | GPT-4 Turbo 128K 上下文 = 单次调用 $1.28 起,10 万次就是 12.8 万美元 |
| 延迟劣化 | Attention 是 O(N²),Prefill 时长随长度平方级增长 |
| 注意力涣散 | “Lost in the middle” 现象:中间信息被模型忽略,Recall 骤降到 30% 以下 |