1. 项目背景与核心价值

在信息爆炸的时代，PDF文档已成为企业和个人知识管理的重要载体。但传统的关键词搜索方式存在明显局限——无法理解语义关联，导致大量相关文档被遗漏。我们团队最近完成的这个智能问答系统，正是为了解决这个痛点。

这个系统的核心突破在于：通过大语言模型（LLM）理解用户问题的深层语义，再结合向量数据库的相似性检索能力，直接从海量PDF中找出最相关的内容片段。实测表明，相比传统搜索方式，准确率提升超过60%，特别适合法律、医疗、科研等需要精确检索的专业场景。

2. 技术架构解析

2.1 整体工作流程

系统采用经典的RAG（Retrieval-Augmented Generation）架构，具体流程如下：

1. 文档预处理：PDF解析 → 文本分块 → 向量化
2. 查询处理：问题向量化 → 相似度检索 → 结果排序
3. 答案生成：上下文组装 → LLM生成 → 结果校验

2.2 核心组件选型

向量数据库方案对比

最终选择Milvus的原因：

• 支持分布式部署，适合未来扩展
• 提供完善的Python SDK
• 对GPU加速支持良好

大模型选型要点

关键考虑因素：

• 上下文窗口长度（至少8k tokens）
• 中文处理能力
• 本地化部署可行性

我们测试了Llama3、ChatGLM3和DeepSeek后，最终选用ChatGLM3-6B：

• 在中文NER任务上F1值达89.2%
• 支持16k上下文窗口
• 可通过vLLM实现高效推理

3. 关键实现细节

3.1 PDF解析的坑与解决方案

常见PDF解析器对比：

# PyPDF2 (基础但不可靠) text = extract_text("doc.pdf") # 丢失格式和表格 # pdfplumber (推荐方案) with pdfplumber.open("doc.pdf") as pdf: text = "\n".join([page.extract_text() for page in pdf.pages]) # pdfminer.six (复杂但强大) from pdfminer.high_level import extract_text text = extract_text("doc.pdf", laparams=LAParams())

避坑经验：

1. 混合使用pdfplumber和pymupdf处理特殊格式
2. 对扫描件使用OCR预处理（推荐PaddleOCR）
3. 添加页码标记防止上下文丢失

3.2 文本分块的艺术

最佳分块策略取决于文档类型：

• 技术文档：按章节划分（Markdown标题识别）
• 合同文本：按条款划分（正则匹配"第X条"）
• 研究论文：按章节+参考文献划分

实现示例：

from langchain.text_splitter import RecursiveCharacterTextSplitter splitter = RecursiveCharacterTextSplitter( chunk_size=500, chunk_overlap=50, separators=["\n\n", "\n", "。", "！", "？"] ) chunks = splitter.split_text(text)

重要提示：避免在表格中间拆分，会导致语义断裂

3.3 向量化模型选择

对比测试结果（中文场景）：

优化技巧：

• 对小文本使用pooling策略
• 对长文本采用滑动窗口
• 添加领域数据微调

4. 系统优化实战

4.1 混合检索策略

单纯向量检索可能漏掉关键词完全匹配的重要文档。我们的解决方案：

def hybrid_search(query, top_k=5): # 关键词检索 keyword_results = es.search( query={"match": {"text": query}}, size=top_k ) # 向量检索 vector = model.encode(query) vector_results = milvus.search( vector, top_k=top_k ) # 结果融合 return rerank( keyword_results + vector_results )

4.2 缓存机制设计

三级缓存架构：

1. 问题缓存：直接缓存高频问题答案
2. 片段缓存：缓存文档片段向量
3. 模型缓存：缓存模型推理结果

实现示例：

from redis import Redis from functools import lru_cache @lru_cache(maxsize=1000) def get_answer(question): # 检查Redis缓存 cached = redis.get(f"answer:{question}") if cached: return cached # 处理逻辑... redis.setex(f"answer:{question}", 3600, answer) return answer

4.3 性能监控指标

关键监控项：

• 端到端延迟（P99 < 3s）
• 缓存命中率（目标 > 40%）
• 答案准确率（定期人工评估）

Prometheus配置示例：

scrape_configs: - job_name: 'qa_system' metrics_path: '/metrics' static_configs: - targets: ['localhost:8000']

5. 部署方案详解

5.1 容器化部署

Docker-compose核心配置：

version: '3' services: milvus: image: milvusdb/milvus:v2.3.0 ports: ["19530:19530"] volumes: - milvus_data:/var/lib/milvus llm_service: build: . ports: ["8000:8000"] environment: - MILVUS_HOST=milvus depends_on: - milvus

5.2 性能调优参数

Milvus关键配置：

[queryNode] gpu.enabled = true gpu.cache_size = 4GB [dataNode] insert_buffer_size = 1GB

vLLM启动参数：

python -m vllm.entrypoints.api_server \ --model chatglm3-6b \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.9

6. 效果评估与迭代

6.1 测试数据集构建

建议包含：

• 事实性问题（占比40%）
• 解释性问题（占比30%）
• 多跳推理问题（占比20%）
• 无效/对抗性问题（占比10%）

示例测试用例：

{ "question": "本合同中的违约责任条款包含哪些内容？", "expected": "应包括违约金计算方式、免责情形等", "doc_type": "legal" }

6.2 持续改进策略

迭代闭环：

1. 收集用户反馈问题
2. 标注难样本
3. 针对性优化：
   • 增加领域术语到分词词典
   • 调整分块策略
   • 补充训练数据

7. 典型问题排查指南

7.1 检索相关

问题：返回结果不相关

• 检查向量模型是否领域适配
• 验证分块是否合理（可视化几个典型块）
• 测试query改写效果

问题：长文档效果差

• 尝试增加chunk overlap
• 添加位置编码信息
• 采用层次化检索策略

7.2 生成相关

问题：答案出现幻觉

• 调整temperature参数（建议0.3-0.7）
• 添加prompt约束："仅基于以下上下文回答"
• 设置最大引用长度

问题：格式混乱

• 后处理步骤添加Markdown清洗
• 保留原文换行符
• 对表格内容特殊处理

8. 安全与权限设计

8.1 文档访问控制

实现方案：

def check_access(user, doc_id): # 查询权限数据库 return db.execute( "SELECT 1 FROM permissions WHERE user=? AND doc_id=?", (user.id, doc_id) ).fetchone()

8.2 回答审核流程

敏感内容过滤方案：

1. 关键词黑名单过滤
2. 使用分类模型检测（如：legal、medical等）
3. 高风险回答转人工审���

9. 成本优化方案

9.1 向量存储优化

• 采用标量量化（SQ8）
• 使用IVF_PQ索引
• 定期冷热数据分离

9.2 推理成本控制

策略：

• 小模型处理简单问题
• 实现请求合并
• 使用Triton推理服务器

实测数据：

这个项目给我们最大的启示是：AI系统落地需要紧密结合领域知识。比如在法律场景，我们额外添加了条款关联分析模块；在医疗场景，则强化了医学术语识别。每个优化点的效果都可能带来质的飞跃。