如果你正在寻找一种方法将散落在各处、格式不一的文档、笔记和网页内容快速整合成一个能“听懂人话”、并能精准回答问题的智能知识库那么你很可能已经注意到了“ChatGPT Codex”这个组合。但网络上信息繁杂有人说它简单有人说它复杂还有各种安装报错和模型不支持的提示让人望而却步。这篇文章要解决的核心问题不是复述“大模型知识库”的概念而是为你提供一个清晰、可落地的技术路径。我们将聚焦于一个具体且强大的开源方案如何利用 OpenAI 的 Codex 模型通过其 API结合本地或云端的向量数据库构建一个属于你自己的、可私有化部署的问答知识库。你会发现它远不止是一个“聊天机器人”而是一个能深刻理解你专业领域内容、并给出可靠答案的“智能助理”。与直接使用 ChatGPT 网页版不同基于 Codex API 自建知识库的核心优势在于“可控”与“深度”。你可以完全掌控数据源、索引方式、回答的逻辑即 RAG检索增强生成并针对垂直领域进行优化。无论是构建个人学习笔记库、企业内部技术文档问答系统还是某个特定行业如农业、法律的知识库这套方案都提供了从零到一的全流程实践指南。接下来我将抛开泛泛而谈直接切入技术细节。从核心概念拆解、环境准备、代码实现到部署中必然会遇到的“坑”和最佳实践我会一步步带你走通整个流程。无论你是想快速验证一个想法还是为团队搭建一个生产级应用这篇文章都能提供直接的参考。1. 核心问题为什么是 Codex而不仅仅是 ChatGPT在开始动手之前我们必须先理清一个关键区别使用 ChatGPT 网页版/API 与使用 Codex API 构建知识库是两件完全不同维度的事情。很多人搜索“ChatGPT 制作知识库”期望的是找到一个一键打包的工具。但现实是如果你直接向 ChatGPT 提问一个它训练数据之外的专业问题它很可能会“一本正经地胡说八道”即幻觉问题。而 Codex 在这里扮演的角色更接近于一个强大的“文本理解与生成引擎”它是我们构建RAGRetrieval-Augmented Generation检索增强生成系统的核心组件之一。RAG 的工作流程可以简单类比为一位严谨的顾问建立档案库知识库索引将你的所有文档PDF、Word、网页、TXT等进行切片、转化为向量一种数学表示并存入向量数据库如 pgvector、Chroma、Milvus。接收问题用户提问当用户提出一个问题时系统将这个问题也转化为向量。检索档案向量检索在向量数据库中快速找到与问题向量最相似的几段文本知识片段。组织答案增强生成将找到的知识片段和原始问题一起作为“上下文”和“指令”提交给大模型如 Codex。模型基于这些确凿的“档案”来生成答案从而极大减少了胡编乱造的可能。在这个流程中ChatGPT特指 GPT-3.5/4 对话模型和Codex基于 GPT-3 优化的代码/文本生成模型都可以作为第4步的“生成引擎”。但 Codex 系列模型如code-davinci-002在理解结构化指令、遵循复杂提示词Prompt方面表现出色且对于编程、技术文档等内容的生成更为精准成本也常有不同的考量。所以本文的“用 ChatGPTcodex制作知识库”更准确的含义是利用 OpenAI 提供的 Codex 类模型 API作为 RAG 流水线中的智能生成模块构建一个可靠的知识问答系统。理解了这一点你就明白了我们不是在教你怎么“安装一个 ChatGPT 软件”而是在教你搭建一套“数据预处理 向量检索 智能生成”的完整技术架构。2. 基础概念与核心组件拆解在搭建之前我们需要认识系统中的几个关键角色它们共同协作才能让知识库“活”起来。2.1 核心组件一览组件角色常见工具/技术在本项目中的作用文档加载器信息搬运工LangChainDocumentLoaders、PyPDF2、BeautifulSoup从 PDF、Word、HTML、Markdown 等文件中读取原始文本。文本分割器内容裁剪师LangChainTextSplitter、按字符/令牌分割将长文档切割成适合模型处理的小片段如 500 字符一段。嵌入模型语义翻译官OpenAItext-embedding-ada-002、Sentence Transformers将文本片段转换为高维向量一组数字这个向量代表了文本的语义。向量数据库记忆仓库pgvectorPostgreSQL扩展、Chroma、Milvus、Qdrant存储和高效检索这些向量。当新问题来时能快速找到最相似的文本向量。大语言模型答案生成器OpenAI Codex API(code-davinci-002)、GPT-3.5/4 API接收“问题检索到的文本”作为上下文生成自然、准确的回答。应用框架流程调度员LangChain、LlamaIndex将以上所有组件像流水线一样串联起来简化开发。2.2 为什么选择这个技术栈OpenAI Embedding Codex提供稳定、高质量的文本向量化和生成能力无需从头训练模型适合快速启动和验证。pgvector作为向量数据库它最大的优势是“简单”。如果你已经在使用 PostgreSQL只需一个扩展就能获得向量检索能力无需维护另一个复杂的数据库系统降低了运维门槛。从网络热词中频繁出现的“pgvector 知识库完整落地方案”也能看出其受欢迎程度。LangChain它抽象了 RAG 的通用模式提供了大量现成的“链”Chain让我们可以专注于业务逻辑而不是底层通信细节。虽然学习曲线存在但它能极大提升开发效率。一个重要提示网络搜索材料中提到的the gpt-5.6-sol model is not supported等错误通常源于工具或客户端如某些桌面版应用试图调用不存在的模型。在官方 API 中我们使用确定的模型名如text-embedding-ada-002和code-davinci-002可以避免此类问题。3. 环境准备与前置条件在开始编写代码前请确保你的开发环境已就绪。3.1 软件与环境要求Python 环境推荐使用 Python 3.8 及以上版本。使用conda或venv创建独立的虚拟环境是最佳实践。# 创建并激活虚拟环境 (以 venv 为例) python -m venv knowledge_base_env source knowledge_base_env/bin/activate # Linux/Mac # knowledge_base_env\Scripts\activate # WindowsPostgreSQL 数据库你需要一个运行中的 PostgreSQL 数据库版本 12。可以从官网下载安装或使用 Docker 快速启动。# 使用 Docker 运行 PostgreSQL docker run --name pgvector-demo -e POSTGRES_PASSWORDyourpassword -p 5432:5432 -d postgres:15OpenAI API 密钥这是调用 Embedding 和 Codex 模型的通行证。访问 OpenAI 平台创建密钥。重要妥善保管你的 API Key不要将其硬编码在代码或提交到版本库中。3.2 安装必要的 Python 包我们将使用pip安装核心依赖。在你的虚拟环境中执行以下命令# 核心框架与数据库驱动 pip install langchain openai psycopg2-binary # 文本处理与向量数据库扩展 pip install tiktoken # 用于文本分词计算Token pip install pgvector # PostgreSQL的向量扩展Python客户端 pip install sentence-transformers # 备用嵌入模型可选 # 文档加载器按需安装 pip install pypdf2 # 用于PDF pip install python-docx # 用于Word pip install beautifulsoup4 # 用于HTML pip install markdown # 用于Markdown # 环境变量管理推荐 pip install python-dotenv3.3 数据库初始化启用 pgvector 扩展连接到你的 PostgreSQL 数据库执行以下 SQL 命令来启用pgvector扩展并创建存储知识片段的表。-- 1. 进入 PostgreSQL 命令行或使用 GUI 工具如 pgAdmin连接数据库 -- 2. 创建扩展 CREATE EXTENSION IF NOT EXISTS vector; -- 3. 创建存储文档和向量的表 CREATE TABLE IF NOT EXISTS document_chunks ( id BIGSERIAL PRIMARY KEY, source TEXT, -- 文档来源如文件路径 content TEXT, -- 文本内容 content_tokens INT, -- 内容token数用于管理长度 embedding vector(1536), -- 向量维度需与嵌入模型匹配。text-embedding-ada-002 是 1536 维 metadata JSONB, -- 可存储页码、章节等元信息 created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 4. 为向量列创建索引以加速检索使用 ivfflat 或 hnsw 索引 -- 注意建议在插入大量数据后再创建索引以提高索引构建效率。 CREATE INDEX ON document_chunks USING ivfflat (embedding vector_cosine_ops) WITH (lists 100); -- 或者使用 HNSW 索引PostgreSQL 13 pgvector 0.5.0 -- CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);关键点说明vector(1536)必须与 OpenAI 的text-embedding-ada-002模型输出的维度一致。索引选择ivfflat索引构建快适合中等规模数据集hnsw索引查询性能更高适合大规模数据但构建稍慢。初次实验可先不建索引数据量上来后再考虑。4. 核心流程拆解从文档到智能问答整个系统构建分为两个主要阶段知识库构建索引和问答查询。4.1 阶段一知识库构建索引流程这个阶段是离线的目的是把你的原始文档“喂”给系统。加载文档使用对应的加载器读取文件内容。分割文本将长文档切成语义连贯的小块。生成向量调用嵌入模型 API为每个文本块生成向量。存储向量将文本块、其对应的向量及元数据存入向量数据库。4.2 阶段二问答查询检索与生成流程这个阶段是在线的响应用户的实时提问。接收问题获取用户输入的自然语言问题。问题向量化使用同样的嵌入模型将问题转化为向量。向量检索在向量数据库中查找与问题向量最相似的 K 个文本块例如最相似的 4 个。组装上下文将检索到的文本块作为“参考依据”或“上下文”与原始问题拼接成一个精心设计的提示词Prompt。调用大模型将组装好的提示词发送给 Codex或 GPTAPI请求其生成答案。返回答案将模型生成的答案返回给用户。5. 完整代码实现构建你的第一个知识库我们将使用 LangChain 来优雅地组织整个流程。请将以下代码保存为knowledge_base_bot.py。5.1 配置文件与环境变量首先创建一个.env文件来管理敏感信息确保不要将其提交到代码仓库。# .env OPENAI_API_KEY你的-openai-api-key-here DATABASE_URLpostgresql://username:passwordlocalhost:5432/database_name5.2 主程序代码# knowledge_base_bot.py import os from typing import List, Dict, Any from dotenv import load_dotenv # 加载环境变量 load_dotenv() # 导入 LangChain 核心组件 from langchain.embeddings.openai import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.vectorstores import PGVector from langchain.document_loaders import PyPDFLoader, TextLoader # 按需导入其他 Loader from langchain.chains import RetrievalQA from langchain.llms import OpenAI # 注意这里我们用 OpenAI 类它兼容 Codex 模型 from langchain.prompts import PromptTemplate # 配置常量 COLLECTION_NAME my_knowledge_base # 在向量库中标识你的知识库集合 EMBEDDING_MODEL text-embedding-ada-002 LLM_MODEL code-davinci-002 # 使用 Codex 模型 CHUNK_SIZE 1000 # 文本块大小字符 CHUNK_OVERLAP 200 # 块间重叠字符保持上下文连贯 # 初始化嵌入模型和 LLM embeddings OpenAIEmbeddings( modelEMBEDDING_MODEL, openai_api_keyos.getenv(OPENAI_API_KEY) ) # 注意LangChain 的 OpenAI 类默认使用 text-davinci-003我们需要指定 Codex 模型。 # Codex 模型在 LangChain 中通常也通过 OpenAI 类调用但需指定 model_name。 llm OpenAI( model_nameLLM_MODEL, openai_api_keyos.getenv(OPENAI_API_KEY), temperature0.1, # 较低的温度使输出更确定、更专注于上下文 max_tokens500 ) # 连接字符串用于 PGVector CONNECTION_STRING os.getenv(DATABASE_URL) def create_knowledge_base_from_pdf(pdf_path: str): 从单个 PDF 文件创建知识库索引 print(f正在处理 PDF: {pdf_path}) # 1. 加载文档 loader PyPDFLoader(pdf_path) documents loader.load() # 2. 分割文本 text_splitter RecursiveCharacterTextSplitter( chunk_sizeCHUNK_SIZE, chunk_overlapCHUNK_OVERLAP, length_functionlen, separators[\n\n, \n, 。, , , , , , ] ) chunks text_splitter.split_documents(documents) print(f文档被分割成 {len(chunks)} 个文本块。) # 3. 4. 生成向量并存储到 PostgreSQL (PGVector 封装了此过程) # 注意此步骤会调用 OpenAI Embedding API产生费用。 db PGVector.from_documents( embeddingembeddings, documentschunks, collection_nameCOLLECTION_NAME, connection_stringCONNECTION_STRING, pre_delete_collectionFalse # 如果为 True会先删除同名集合 ) print(f知识库 {COLLECTION_NAME} 索引创建完成) return db def create_qa_chain(db): 创建问答链 # 自定义提示词模板指导模型如何利用上下文 prompt_template 请根据以下上下文信息回答问题。如果上下文信息不足以回答问题请直接说“根据现有信息无法回答”不要编造信息。 上下文 {context} 问题{question} 基于以上信息的回答 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 创建检索器 retriever db.as_retriever( search_typesimilarity, # 相似度检索 search_kwargs{k: 4} # 返回最相似的 4 个片段 ) # 创建 RetrievalQA 链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档“塞”进上下文 retrieverretriever, chain_type_kwargs{prompt: PROMPT}, return_source_documentsTrue # 返回源文档便于追溯 ) return qa_chain def ask_question(qa_chain, question: str): 向知识库提问 print(f\n提问: {question}) result qa_chain({query: question}) print(f回答: {result[result]}) print(\n--- 参考来源 ---) for i, doc in enumerate(result[source_documents]): print(f[片段 {i1}] {doc.page_content[:200]}...) # 打印前200字符 return result if __name__ __main__: # 第一部分构建知识库只需运行一次 pdf_file_path ./your_document.pdf # 替换为你的PDF文件路径 # 注意首次运行需要取消下面这行的注释以创建索引 # db create_knowledge_base_from_pdf(pdf_file_path) # 第二部分加载已有知识库并进行问答 # 如果知识库已存在直接连接 db PGVector.from_existing_index( embeddingembeddings, collection_nameCOLLECTION_NAME, connection_stringCONNECTION_STRING, ) qa_chain create_qa_chain(db) # 示例问答 questions [ 本文档主要讲了什么内容, 请总结一下第三章的核心观点。, RAG 技术的主要优势是什么, ] for q in questions: ask_question(qa_chain, q)5.3 代码关键逻辑解释文档加载与分割RecursiveCharacterTextSplitter会智能地按段落、句子进行分割并保留重叠部分确保语义边界不被生硬切断。向量化与存储PGVector.from_documents是 LangChain 提供的强大抽象。它内部自动完成为每个文本块调用embeddings模型生成向量。将文本内容、向量和元数据一并存入你指定的 PostgreSQL 表和集合中。检索器Retrieverdb.as_retriever()创建了一个检索器对象它封装了向量相似度搜索的逻辑。search_kwargs{“k”: 4}表示每次检索返回最相似的 4 个文本块。提示词工程PromptTemplate是控制模型行为的关键。我们明确告诉模型“根据上下文回答”并指示它在不知道时说“无法回答”这能有效缓解幻觉问题。问答链RetrievalQAchain_type“stuff”是一种简单直接的方法它将检索到的所有文档内容拼接后一次性发送给模型。对于返回片段不多的情况这是最有效的方式。6. 运行与效果验证6.1 运行步骤准备文档将一份 PDF 文档例如一篇技术论文或产品手册放在项目目录下并修改代码中的pdf_file_path变量。首次运行构建索引确保.env文件已正确配置。确保 PostgreSQL 数据库正在运行且已执行pgvector扩展和建表 SQL。取消主程序中# db create_knowledge_base_from_pdf(pdf_file_path)这一行的注释。在终端运行python knowledge_base_bot.py观察输出你会看到文档被分割成块并逐步上传向量。此过程耗时取决于文档大小和网络速度。后续运行进行问答注释掉或删除上面那行构建索引的代码。直接运行脚本程序会连接到已有的知识库集合。修改questions列表中的问题或直接在代码末尾添加新的ask_question调用。6.2 预期输出与验证成功运行后你会在终端看到类似以下的输出提问 RAG 技术的主要优势是什么 回答 根据上下文信息RAG检索增强生成技术的主要优势在于能够通过从外部知识库检索相关信息来增强大语言模型的生成过程从而生成更准确、事实性更强且与上下文更相关的回答同时有效减少了模型产生“幻觉”即编造信息的可能性。 --- 参考来源 --- [片段 1] ...RAG 模型结合了检索系统和生成模型的优点。当接收到查询时它首先从大型文档库中检索出相关的文档片段... [片段 2] ...相比于纯生成模型RAG 的关键优势在于其答案有据可查提高了输出的可信度和可解释性...如何验证成功数据库验证可以连接 PostgreSQL查询document_chunks表确认数据已存入。SELECT COUNT(*) FROM document_chunks; SELECT LEFT(content, 100) FROM document_chunks LIMIT 3;问答验证提出一个明确在文档中出现过的问题观察答案是否准确且能追溯到原文片段。再提出一个文档中绝对没有的问题观察模型是否会回答“无法回答”。7. 常见问题与排查思路在实践过程中你几乎一定会遇到以下问题。这里提供了清晰的排查路径。问题现象可能原因排查方式解决方案ModuleNotFoundError: No module named ‘pgvector’pgvectorPython 包安装失败或环境不对。1. 确认在正确的虚拟环境中。2. 运行pip show pgvector。1. 激活虚拟环境。2. 尝试安装pgvector的预发布版pip install pgvector --pre。(psycopg2.OperationalError) connection to server failed数据库连接失败。1. 检查DATABASE_URL格式和值。2. 检查 PostgreSQL 服务是否运行 (docker ps或systemctl status postgresql)。3. 检查防火墙/端口。1. 确保 URL 格式为postgresql://user:passhost:port/dbname。2. 启动数据库服务。3. 使用psql命令行工具测试连接。ERROR: could not open extension control file...PostgreSQL 中未安装pgvector扩展。在psql中执行\dx查看已安装扩展。在 PostgreSQL 中执行CREATE EXTENSION vector;。openai.error.AuthenticationErrorOpenAI API Key 错误或未设置。1. 检查.env文件是否存在且格式正确。2. 检查环境变量是否加载print(os.getenv(“OPENAI_API_KEY”))。1. 确保.env文件在项目根目录。2. 确认 API Key 有效且未过期。The model ‘code-davinci-002’ does not exist模型名称错误或 API 访问权限问题。1. 检查 OpenAI 账户是否有该模型的访问权限。2. 确认模型名拼写。1. 登录 OpenAI 平台检查可用模型列表。2. 可暂时替换为text-davinci-003或gpt-3.5-turbo-instruct进行测试。问答结果与文档无关幻觉1. 检索到的片段不相关。2. 提示词指令不够强。3. 模型温度 (temperature) 过高。1. 打印source_documents检查检索到的内容是否真的与问题相关。2. 审查提示词模板。1. 调整search_kwargs增加k值或尝试search_type“mmr”最大边际相关性以增加多样性。2. 强化提示词如“必须严格依据上下文”。3. 将temperature调低至 0.1 或 0。回答“根据现有信息无法回答”过于频繁1. 检索阈值过高未返回任何片段。2. 文档索引不完整或质量差。1. 检查检索器返回的片段数量 (k)。2. 检查原始文档分割是否合理。1. 确保k值大于 0。2. 优化文本分割参数 (chunk_size,chunk_overlap)。3. 检查嵌入模型是否正常工作。处理速度慢1. 网络请求Embedding/LLM API延迟。2. 向量数据库未建索引。3. 文档块过大或过多。1. 使用本地嵌入模型如all-MiniLM-L6-v2。2. 检查表中数据量。1. 对于 Embedding可考虑使用本地 Sentence Transformer 模型。2. 在数据插入后创建hnsw索引。3. 优化chunk_size平衡精度与速度。8. 最佳实践与进阶建议当你跑通基础流程后以下建议能帮助你构建一个更健壮、更实用的生产级知识库系统。8.1 工程化与性能优化分批处理与容错处理大量文档时务必加入批处理逻辑、请求速率限制和错误重试机制。LangChain 的许多组件内置了重试但仍需关注。from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def safe_embedding_call(texts): return embeddings.embed_documents(texts)元数据过滤在存储时为每个文本块添加丰富的元数据如文件名、章节、页码。在检索时可以结合元数据进行过滤例如“只从某份手册的第三章中查找答案”。混合搜索结合向量相似度搜索语义搜索和关键词搜索如 BM25可以提升检索的召回率。LangChain 支持多种检索器融合。缓存机制对常见的查询结果进行缓存可以显著降低 API 调用成本和延迟。可以使用langchain.cache配合SQLiteCache或RedisCache。8.2 提示词与回答质量优化迭代提示词你的提示词是系统的“指挥官”。不断根据回答结果优化它。例如要求模型“以要点形式列出”、“引用原文段落编号”、“如果不确定请说明哪些信息缺失”。多步推理Chain of Thought对于复杂问题可以设计链式提示让模型先拆解问题再分别检索最后综合答案。后处理与引用确保答案中的关键事实能追溯到源文档的具体位置如页码、行号。这不仅能验证答案也增加了可信度。8.3 安全与成本控制API 成本监控OpenAI API 调用是主要成本。密切关注text-embedding-ada-002和code-davinci-002的用量。可以为不同任务设置预算和告警。数据隐私如果处理敏感数据确保整个流水线文档存储、向量数据库、API 传输符合你的安全要求。考虑对数据进行脱敏或使用可私有化部署的本地模型如 Llama 2、ChatGLM替代 OpenAI API。输入审查对用户输入的问题进行基本的审查和过滤防止恶意提示注入攻击。8.4 扩展与替代方案前端界面使用Gradio或Streamlit快速构建一个 Web 界面让非技术用户也能方便地使用知识库。多源数据LangChain 支持数十种文档加载器轻松接入 Notion、Confluence、GitHub、网页爬虫等数据源。替代向量数据库如果数据量极大或对性能有极致要求可以评估专业的向量数据库如Milvus、Qdrant或Weaviate。替代大模型将llm替换为ChatOpenAI(model“gpt-3.5-turbo”)或ChatOpenAI(model“gpt-4”)可以体验更对话式的回答。对于完全私有化部署可以研究如何接入Llama 2、ChatGLM等开源模型。通过以上步骤你已经成功搭建了一个基于 Codex 和 pgvector 的、具备工业级潜力的智能知识库系统。这个系统的价值不在于使用了多么炫酷的技术而在于它切实地将静态文档转化为了可交互、可查询的动态知识资产。你可以在此基础上继续深化对 RAG 各个环节的理解例如尝试不同的文本分割策略、评估不同的嵌入模型、优化检索算法从而打造出更贴合你业务场景的智能知识引擎。
基于OpenAI Codex与pgvector构建私有化智能知识库实战指南
如果你正在寻找一种方法将散落在各处、格式不一的文档、笔记和网页内容快速整合成一个能“听懂人话”、并能精准回答问题的智能知识库那么你很可能已经注意到了“ChatGPT Codex”这个组合。但网络上信息繁杂有人说它简单有人说它复杂还有各种安装报错和模型不支持的提示让人望而却步。这篇文章要解决的核心问题不是复述“大模型知识库”的概念而是为你提供一个清晰、可落地的技术路径。我们将聚焦于一个具体且强大的开源方案如何利用 OpenAI 的 Codex 模型通过其 API结合本地或云端的向量数据库构建一个属于你自己的、可私有化部署的问答知识库。你会发现它远不止是一个“聊天机器人”而是一个能深刻理解你专业领域内容、并给出可靠答案的“智能助理”。与直接使用 ChatGPT 网页版不同基于 Codex API 自建知识库的核心优势在于“可控”与“深度”。你可以完全掌控数据源、索引方式、回答的逻辑即 RAG检索增强生成并针对垂直领域进行优化。无论是构建个人学习笔记库、企业内部技术文档问答系统还是某个特定行业如农业、法律的知识库这套方案都提供了从零到一的全流程实践指南。接下来我将抛开泛泛而谈直接切入技术细节。从核心概念拆解、环境准备、代码实现到部署中必然会遇到的“坑”和最佳实践我会一步步带你走通整个流程。无论你是想快速验证一个想法还是为团队搭建一个生产级应用这篇文章都能提供直接的参考。1. 核心问题为什么是 Codex而不仅仅是 ChatGPT在开始动手之前我们必须先理清一个关键区别使用 ChatGPT 网页版/API 与使用 Codex API 构建知识库是两件完全不同维度的事情。很多人搜索“ChatGPT 制作知识库”期望的是找到一个一键打包的工具。但现实是如果你直接向 ChatGPT 提问一个它训练数据之外的专业问题它很可能会“一本正经地胡说八道”即幻觉问题。而 Codex 在这里扮演的角色更接近于一个强大的“文本理解与生成引擎”它是我们构建RAGRetrieval-Augmented Generation检索增强生成系统的核心组件之一。RAG 的工作流程可以简单类比为一位严谨的顾问建立档案库知识库索引将你的所有文档PDF、Word、网页、TXT等进行切片、转化为向量一种数学表示并存入向量数据库如 pgvector、Chroma、Milvus。接收问题用户提问当用户提出一个问题时系统将这个问题也转化为向量。检索档案向量检索在向量数据库中快速找到与问题向量最相似的几段文本知识片段。组织答案增强生成将找到的知识片段和原始问题一起作为“上下文”和“指令”提交给大模型如 Codex。模型基于这些确凿的“档案”来生成答案从而极大减少了胡编乱造的可能。在这个流程中ChatGPT特指 GPT-3.5/4 对话模型和Codex基于 GPT-3 优化的代码/文本生成模型都可以作为第4步的“生成引擎”。但 Codex 系列模型如code-davinci-002在理解结构化指令、遵循复杂提示词Prompt方面表现出色且对于编程、技术文档等内容的生成更为精准成本也常有不同的考量。所以本文的“用 ChatGPTcodex制作知识库”更准确的含义是利用 OpenAI 提供的 Codex 类模型 API作为 RAG 流水线中的智能生成模块构建一个可靠的知识问答系统。理解了这一点你就明白了我们不是在教你怎么“安装一个 ChatGPT 软件”而是在教你搭建一套“数据预处理 向量检索 智能生成”的完整技术架构。2. 基础概念与核心组件拆解在搭建之前我们需要认识系统中的几个关键角色它们共同协作才能让知识库“活”起来。2.1 核心组件一览组件角色常见工具/技术在本项目中的作用文档加载器信息搬运工LangChainDocumentLoaders、PyPDF2、BeautifulSoup从 PDF、Word、HTML、Markdown 等文件中读取原始文本。文本分割器内容裁剪师LangChainTextSplitter、按字符/令牌分割将长文档切割成适合模型处理的小片段如 500 字符一段。嵌入模型语义翻译官OpenAItext-embedding-ada-002、Sentence Transformers将文本片段转换为高维向量一组数字这个向量代表了文本的语义。向量数据库记忆仓库pgvectorPostgreSQL扩展、Chroma、Milvus、Qdrant存储和高效检索这些向量。当新问题来时能快速找到最相似的文本向量。大语言模型答案生成器OpenAI Codex API(code-davinci-002)、GPT-3.5/4 API接收“问题检索到的文本”作为上下文生成自然、准确的回答。应用框架流程调度员LangChain、LlamaIndex将以上所有组件像流水线一样串联起来简化开发。2.2 为什么选择这个技术栈OpenAI Embedding Codex提供稳定、高质量的文本向量化和生成能力无需从头训练模型适合快速启动和验证。pgvector作为向量数据库它最大的优势是“简单”。如果你已经在使用 PostgreSQL只需一个扩展就能获得向量检索能力无需维护另一个复杂的数据库系统降低了运维门槛。从网络热词中频繁出现的“pgvector 知识库完整落地方案”也能看出其受欢迎程度。LangChain它抽象了 RAG 的通用模式提供了大量现成的“链”Chain让我们可以专注于业务逻辑而不是底层通信细节。虽然学习曲线存在但它能极大提升开发效率。一个重要提示网络搜索材料中提到的the gpt-5.6-sol model is not supported等错误通常源于工具或客户端如某些桌面版应用试图调用不存在的模型。在官方 API 中我们使用确定的模型名如text-embedding-ada-002和code-davinci-002可以避免此类问题。3. 环境准备与前置条件在开始编写代码前请确保你的开发环境已就绪。3.1 软件与环境要求Python 环境推荐使用 Python 3.8 及以上版本。使用conda或venv创建独立的虚拟环境是最佳实践。# 创建并激活虚拟环境 (以 venv 为例) python -m venv knowledge_base_env source knowledge_base_env/bin/activate # Linux/Mac # knowledge_base_env\Scripts\activate # WindowsPostgreSQL 数据库你需要一个运行中的 PostgreSQL 数据库版本 12。可以从官网下载安装或使用 Docker 快速启动。# 使用 Docker 运行 PostgreSQL docker run --name pgvector-demo -e POSTGRES_PASSWORDyourpassword -p 5432:5432 -d postgres:15OpenAI API 密钥这是调用 Embedding 和 Codex 模型的通行证。访问 OpenAI 平台创建密钥。重要妥善保管你的 API Key不要将其硬编码在代码或提交到版本库中。3.2 安装必要的 Python 包我们将使用pip安装核心依赖。在你的虚拟环境中执行以下命令# 核心框架与数据库驱动 pip install langchain openai psycopg2-binary # 文本处理与向量数据库扩展 pip install tiktoken # 用于文本分词计算Token pip install pgvector # PostgreSQL的向量扩展Python客户端 pip install sentence-transformers # 备用嵌入模型可选 # 文档加载器按需安装 pip install pypdf2 # 用于PDF pip install python-docx # 用于Word pip install beautifulsoup4 # 用于HTML pip install markdown # 用于Markdown # 环境变量管理推荐 pip install python-dotenv3.3 数据库初始化启用 pgvector 扩展连接到你的 PostgreSQL 数据库执行以下 SQL 命令来启用pgvector扩展并创建存储知识片段的表。-- 1. 进入 PostgreSQL 命令行或使用 GUI 工具如 pgAdmin连接数据库 -- 2. 创建扩展 CREATE EXTENSION IF NOT EXISTS vector; -- 3. 创建存储文档和向量的表 CREATE TABLE IF NOT EXISTS document_chunks ( id BIGSERIAL PRIMARY KEY, source TEXT, -- 文档来源如文件路径 content TEXT, -- 文本内容 content_tokens INT, -- 内容token数用于管理长度 embedding vector(1536), -- 向量维度需与嵌入模型匹配。text-embedding-ada-002 是 1536 维 metadata JSONB, -- 可存储页码、章节等元信息 created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 4. 为向量列创建索引以加速检索使用 ivfflat 或 hnsw 索引 -- 注意建议在插入大量数据后再创建索引以提高索引构建效率。 CREATE INDEX ON document_chunks USING ivfflat (embedding vector_cosine_ops) WITH (lists 100); -- 或者使用 HNSW 索引PostgreSQL 13 pgvector 0.5.0 -- CREATE INDEX ON document_chunks USING hnsw (embedding vector_cosine_ops);关键点说明vector(1536)必须与 OpenAI 的text-embedding-ada-002模型输出的维度一致。索引选择ivfflat索引构建快适合中等规模数据集hnsw索引查询性能更高适合大规模数据但构建稍慢。初次实验可先不建索引数据量上来后再考虑。4. 核心流程拆解从文档到智能问答整个系统构建分为两个主要阶段知识库构建索引和问答查询。4.1 阶段一知识库构建索引流程这个阶段是离线的目的是把你的原始文档“喂”给系统。加载文档使用对应的加载器读取文件内容。分割文本将长文档切成语义连贯的小块。生成向量调用嵌入模型 API为每个文本块生成向量。存储向量将文本块、其对应的向量及元数据存入向量数据库。4.2 阶段二问答查询检索与生成流程这个阶段是在线的响应用户的实时提问。接收问题获取用户输入的自然语言问题。问题向量化使用同样的嵌入模型将问题转化为向量。向量检索在向量数据库中查找与问题向量最相似的 K 个文本块例如最相似的 4 个。组装上下文将检索到的文本块作为“参考依据”或“上下文”与原始问题拼接成一个精心设计的提示词Prompt。调用大模型将组装好的提示词发送给 Codex或 GPTAPI请求其生成答案。返回答案将模型生成的答案返回给用户。5. 完整代码实现构建你的第一个知识库我们将使用 LangChain 来优雅地组织整个流程。请将以下代码保存为knowledge_base_bot.py。5.1 配置文件与环境变量首先创建一个.env文件来管理敏感信息确保不要将其提交到代码仓库。# .env OPENAI_API_KEY你的-openai-api-key-here DATABASE_URLpostgresql://username:passwordlocalhost:5432/database_name5.2 主程序代码# knowledge_base_bot.py import os from typing import List, Dict, Any from dotenv import load_dotenv # 加载环境变量 load_dotenv() # 导入 LangChain 核心组件 from langchain.embeddings.openai import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.vectorstores import PGVector from langchain.document_loaders import PyPDFLoader, TextLoader # 按需导入其他 Loader from langchain.chains import RetrievalQA from langchain.llms import OpenAI # 注意这里我们用 OpenAI 类它兼容 Codex 模型 from langchain.prompts import PromptTemplate # 配置常量 COLLECTION_NAME my_knowledge_base # 在向量库中标识你的知识库集合 EMBEDDING_MODEL text-embedding-ada-002 LLM_MODEL code-davinci-002 # 使用 Codex 模型 CHUNK_SIZE 1000 # 文本块大小字符 CHUNK_OVERLAP 200 # 块间重叠字符保持上下文连贯 # 初始化嵌入模型和 LLM embeddings OpenAIEmbeddings( modelEMBEDDING_MODEL, openai_api_keyos.getenv(OPENAI_API_KEY) ) # 注意LangChain 的 OpenAI 类默认使用 text-davinci-003我们需要指定 Codex 模型。 # Codex 模型在 LangChain 中通常也通过 OpenAI 类调用但需指定 model_name。 llm OpenAI( model_nameLLM_MODEL, openai_api_keyos.getenv(OPENAI_API_KEY), temperature0.1, # 较低的温度使输出更确定、更专注于上下文 max_tokens500 ) # 连接字符串用于 PGVector CONNECTION_STRING os.getenv(DATABASE_URL) def create_knowledge_base_from_pdf(pdf_path: str): 从单个 PDF 文件创建知识库索引 print(f正在处理 PDF: {pdf_path}) # 1. 加载文档 loader PyPDFLoader(pdf_path) documents loader.load() # 2. 分割文本 text_splitter RecursiveCharacterTextSplitter( chunk_sizeCHUNK_SIZE, chunk_overlapCHUNK_OVERLAP, length_functionlen, separators[\n\n, \n, 。, , , , , , ] ) chunks text_splitter.split_documents(documents) print(f文档被分割成 {len(chunks)} 个文本块。) # 3. 4. 生成向量并存储到 PostgreSQL (PGVector 封装了此过程) # 注意此步骤会调用 OpenAI Embedding API产生费用。 db PGVector.from_documents( embeddingembeddings, documentschunks, collection_nameCOLLECTION_NAME, connection_stringCONNECTION_STRING, pre_delete_collectionFalse # 如果为 True会先删除同名集合 ) print(f知识库 {COLLECTION_NAME} 索引创建完成) return db def create_qa_chain(db): 创建问答链 # 自定义提示词模板指导模型如何利用上下文 prompt_template 请根据以下上下文信息回答问题。如果上下文信息不足以回答问题请直接说“根据现有信息无法回答”不要编造信息。 上下文 {context} 问题{question} 基于以上信息的回答 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 创建检索器 retriever db.as_retriever( search_typesimilarity, # 相似度检索 search_kwargs{k: 4} # 返回最相似的 4 个片段 ) # 创建 RetrievalQA 链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档“塞”进上下文 retrieverretriever, chain_type_kwargs{prompt: PROMPT}, return_source_documentsTrue # 返回源文档便于追溯 ) return qa_chain def ask_question(qa_chain, question: str): 向知识库提问 print(f\n提问: {question}) result qa_chain({query: question}) print(f回答: {result[result]}) print(\n--- 参考来源 ---) for i, doc in enumerate(result[source_documents]): print(f[片段 {i1}] {doc.page_content[:200]}...) # 打印前200字符 return result if __name__ __main__: # 第一部分构建知识库只需运行一次 pdf_file_path ./your_document.pdf # 替换为你的PDF文件路径 # 注意首次运行需要取消下面这行的注释以创建索引 # db create_knowledge_base_from_pdf(pdf_file_path) # 第二部分加载已有知识库并进行问答 # 如果知识库已存在直接连接 db PGVector.from_existing_index( embeddingembeddings, collection_nameCOLLECTION_NAME, connection_stringCONNECTION_STRING, ) qa_chain create_qa_chain(db) # 示例问答 questions [ 本文档主要讲了什么内容, 请总结一下第三章的核心观点。, RAG 技术的主要优势是什么, ] for q in questions: ask_question(qa_chain, q)5.3 代码关键逻辑解释文档加载与分割RecursiveCharacterTextSplitter会智能地按段落、句子进行分割并保留重叠部分确保语义边界不被生硬切断。向量化与存储PGVector.from_documents是 LangChain 提供的强大抽象。它内部自动完成为每个文本块调用embeddings模型生成向量。将文本内容、向量和元数据一并存入你指定的 PostgreSQL 表和集合中。检索器Retrieverdb.as_retriever()创建了一个检索器对象它封装了向量相似度搜索的逻辑。search_kwargs{“k”: 4}表示每次检索返回最相似的 4 个文本块。提示词工程PromptTemplate是控制模型行为的关键。我们明确告诉模型“根据上下文回答”并指示它在不知道时说“无法回答”这能有效缓解幻觉问题。问答链RetrievalQAchain_type“stuff”是一种简单直接的方法它将检索到的所有文档内容拼接后一次性发送给模型。对于返回片段不多的情况这是最有效的方式。6. 运行与效果验证6.1 运行步骤准备文档将一份 PDF 文档例如一篇技术论文或产品手册放在项目目录下并修改代码中的pdf_file_path变量。首次运行构建索引确保.env文件已正确配置。确保 PostgreSQL 数据库正在运行且已执行pgvector扩展和建表 SQL。取消主程序中# db create_knowledge_base_from_pdf(pdf_file_path)这一行的注释。在终端运行python knowledge_base_bot.py观察输出你会看到文档被分割成块并逐步上传向量。此过程耗时取决于文档大小和网络速度。后续运行进行问答注释掉或删除上面那行构建索引的代码。直接运行脚本程序会连接到已有的知识库集合。修改questions列表中的问题或直接在代码末尾添加新的ask_question调用。6.2 预期输出与验证成功运行后你会在终端看到类似以下的输出提问 RAG 技术的主要优势是什么 回答 根据上下文信息RAG检索增强生成技术的主要优势在于能够通过从外部知识库检索相关信息来增强大语言模型的生成过程从而生成更准确、事实性更强且与上下文更相关的回答同时有效减少了模型产生“幻觉”即编造信息的可能性。 --- 参考来源 --- [片段 1] ...RAG 模型结合了检索系统和生成模型的优点。当接收到查询时它首先从大型文档库中检索出相关的文档片段... [片段 2] ...相比于纯生成模型RAG 的关键优势在于其答案有据可查提高了输出的可信度和可解释性...如何验证成功数据库验证可以连接 PostgreSQL查询document_chunks表确认数据已存入。SELECT COUNT(*) FROM document_chunks; SELECT LEFT(content, 100) FROM document_chunks LIMIT 3;问答验证提出一个明确在文档中出现过的问题观察答案是否准确且能追溯到原文片段。再提出一个文档中绝对没有的问题观察模型是否会回答“无法回答”。7. 常见问题与排查思路在实践过程中你几乎一定会遇到以下问题。这里提供了清晰的排查路径。问题现象可能原因排查方式解决方案ModuleNotFoundError: No module named ‘pgvector’pgvectorPython 包安装失败或环境不对。1. 确认在正确的虚拟环境中。2. 运行pip show pgvector。1. 激活虚拟环境。2. 尝试安装pgvector的预发布版pip install pgvector --pre。(psycopg2.OperationalError) connection to server failed数据库连接失败。1. 检查DATABASE_URL格式和值。2. 检查 PostgreSQL 服务是否运行 (docker ps或systemctl status postgresql)。3. 检查防火墙/端口。1. 确保 URL 格式为postgresql://user:passhost:port/dbname。2. 启动数据库服务。3. 使用psql命令行工具测试连接。ERROR: could not open extension control file...PostgreSQL 中未安装pgvector扩展。在psql中执行\dx查看已安装扩展。在 PostgreSQL 中执行CREATE EXTENSION vector;。openai.error.AuthenticationErrorOpenAI API Key 错误或未设置。1. 检查.env文件是否存在且格式正确。2. 检查环境变量是否加载print(os.getenv(“OPENAI_API_KEY”))。1. 确保.env文件在项目根目录。2. 确认 API Key 有效且未过期。The model ‘code-davinci-002’ does not exist模型名称错误或 API 访问权限问题。1. 检查 OpenAI 账户是否有该模型的访问权限。2. 确认模型名拼写。1. 登录 OpenAI 平台检查可用模型列表。2. 可暂时替换为text-davinci-003或gpt-3.5-turbo-instruct进行测试。问答结果与文档无关幻觉1. 检索到的片段不相关。2. 提示词指令不够强。3. 模型温度 (temperature) 过高。1. 打印source_documents检查检索到的内容是否真的与问题相关。2. 审查提示词模板。1. 调整search_kwargs增加k值或尝试search_type“mmr”最大边际相关性以增加多样性。2. 强化提示词如“必须严格依据上下文”。3. 将temperature调低至 0.1 或 0。回答“根据现有信息无法回答”过于频繁1. 检索阈值过高未返回任何片段。2. 文档索引不完整或质量差。1. 检查检索器返回的片段数量 (k)。2. 检查原始文档分割是否合理。1. 确保k值大于 0。2. 优化文本分割参数 (chunk_size,chunk_overlap)。3. 检查嵌入模型是否正常工作。处理速度慢1. 网络请求Embedding/LLM API延迟。2. 向量数据库未建索引。3. 文档块过大或过多。1. 使用本地嵌入模型如all-MiniLM-L6-v2。2. 检查表中数据量。1. 对于 Embedding可考虑使用本地 Sentence Transformer 模型。2. 在数据插入后创建hnsw索引。3. 优化chunk_size平衡精度与速度。8. 最佳实践与进阶建议当你跑通基础流程后以下建议能帮助你构建一个更健壮、更实用的生产级知识库系统。8.1 工程化与性能优化分批处理与容错处理大量文档时务必加入批处理逻辑、请求速率限制和错误重试机制。LangChain 的许多组件内置了重试但仍需关注。from tenacity import retry, stop_after_attempt, wait_exponential retry(stopstop_after_attempt(3), waitwait_exponential(multiplier1, min4, max10)) def safe_embedding_call(texts): return embeddings.embed_documents(texts)元数据过滤在存储时为每个文本块添加丰富的元数据如文件名、章节、页码。在检索时可以结合元数据进行过滤例如“只从某份手册的第三章中查找答案”。混合搜索结合向量相似度搜索语义搜索和关键词搜索如 BM25可以提升检索的召回率。LangChain 支持多种检索器融合。缓存机制对常见的查询结果进行缓存可以显著降低 API 调用成本和延迟。可以使用langchain.cache配合SQLiteCache或RedisCache。8.2 提示词与回答质量优化迭代提示词你的提示词是系统的“指挥官”。不断根据回答结果优化它。例如要求模型“以要点形式列出”、“引用原文段落编号”、“如果不确定请说明哪些信息缺失”。多步推理Chain of Thought对于复杂问题可以设计链式提示让模型先拆解问题再分别检索最后综合答案。后处理与引用确保答案中的关键事实能追溯到源文档的具体位置如页码、行号。这不仅能验证答案也增加了可信度。8.3 安全与成本控制API 成本监控OpenAI API 调用是主要成本。密切关注text-embedding-ada-002和code-davinci-002的用量。可以为不同任务设置预算和告警。数据隐私如果处理敏感数据确保整个流水线文档存储、向量数据库、API 传输符合你的安全要求。考虑对数据进行脱敏或使用可私有化部署的本地模型如 Llama 2、ChatGLM替代 OpenAI API。输入审查对用户输入的问题进行基本的审查和过滤防止恶意提示注入攻击。8.4 扩展与替代方案前端界面使用Gradio或Streamlit快速构建一个 Web 界面让非技术用户也能方便地使用知识库。多源数据LangChain 支持数十种文档加载器轻松接入 Notion、Confluence、GitHub、网页爬虫等数据源。替代向量数据库如果数据量极大或对性能有极致要求可以评估专业的向量数据库如Milvus、Qdrant或Weaviate。替代大模型将llm替换为ChatOpenAI(model“gpt-3.5-turbo”)或ChatOpenAI(model“gpt-4”)可以体验更对话式的回答。对于完全私有化部署可以研究如何接入Llama 2、ChatGLM等开源模型。通过以上步骤你已经成功搭建了一个基于 Codex 和 pgvector 的、具备工业级潜力的智能知识库系统。这个系统的价值不在于使用了多么炫酷的技术而在于它切实地将静态文档转化为了可交互、可查询的动态知识资产。你可以在此基础上继续深化对 RAG 各个环节的理解例如尝试不同的文本分割策略、评估不同的嵌入模型、优化检索算法从而打造出更贴合你业务场景的智能知识引擎。
