最近和几个技术团队负责人聊天发现一个普遍焦虑公司要上AI项目但团队里没人能真正“Hold住”。不是缺会调API的程序员而是缺能把AI能力稳定、可靠、规模化落地到业务系统里的人。大家突然意识到会写Prompt和会做“AI工程”完全是两码事。这背后是一个关键认知的转变AI正在从“玩具”和“演示Demo”阶段进入“生产系统”阶段。当一项技术开始承载真实业务流量、处理核心数据、影响用户体验和公司营收时对它的要求就截然不同了。它需要可观测、可调试、可回滚、可协作、符合安全规范并且成本可控。这就是AI工程要解决的核心问题。今天要讨论的“AI工程核心技能图谱”正是为了回应这个时代性的需求。它不是一个简单的工具列表而是一套将AI从实验室带入真实生产环境的系统性方法论和技能集合。如果你正面临“如何让AI项目真正跑起来”的困惑或者想知道自己或团队在AI浪潮中该补足哪些能力这篇文章将为你提供一个清晰的行动路线图。1. 为什么你需要关注“AI工程”而不仅仅是“AI模型”过去一年很多开发者体验了ChatGPT的惊艳用上了Midjourney也尝试调用各种大模型API。但当我们试图把这些能力集成到自己的App、网站或内部系统中时问题接踵而至。问题一效果不稳定。今天调好的Prompt明天模型一更新输出质量就下降了。同一个问题问两次可能得到截然不同的答案幻觉问题。问题二成本失控。按Token计费的API在用户量上来后账单可能呈指数级增长。一次不经意的长上下文调用可能就花掉几十美元。问题三难以集成。如何把AI能力无缝嵌入到现有的用户登录、数据库、业务流程和监控告警体系中如何做AB测试问题四安全与合规。用户输入和AI输出可能包含敏感信息如何防止数据泄露如何过滤不当内容如何满足审计要求这些都不是靠研究新模型架构或调优几个超参数能解决的。它们属于工程问题。AI工程的核心目标就是构建一套体系让AI应用像我们熟悉的微服务、数据库一样变得可靠、高效、可维护。因此AI工程师的角色更像是“AI时代的全栈DevOps”他需要横跨机器学习、软件工程、云计算和数据工程等多个领域。下面的技能图谱就是为这个新角色绘制的“能力地图”。2. AI工程核心技能图谱全景解读我们可以将AI工程所需技能分为四大支柱领域它们共同支撑起一个健壮的AI应用。下图展示了这四大领域及其关键技能组件注此处用文字描述一个技能矩阵实际写作中可用清晰表格替代图表领域一基础模型与提示工程这是与AI模型直接交互的一层是效果的起点。模型选型与接入了解主流商用APIOpenAI GPT, Anthropic Claude, 国内大模型和开源模型Llama, Qwen, DeepSeek等的特点、成本、速率限制。掌握如何通过SDK或HTTP API进行基础调用。提示词工程超越基础问答。掌握思维链Chain-of-Thought、少样本学习Few-Shot、角色设定Role-Playing、结构化输出JSON Mode等高级技巧。理解温度Temperature、Top-p等参数对生成结果的影响。上下文管理大模型有上下文窗口限制。如何通过摘要、过滤、优先级排序等技术在有限的窗口内放入最相关的信息这是解决长文本处理问题的关键。领域二AI应用开发框架与编排这是将单个AI调用组装成复杂业务流程的“粘合剂”。LangChain / LlamaIndex这两个是目前最流行的AI应用框架。LangChain擅长通过“链”Chain将模型、工具、记忆等组件连接起来LlamaIndex则专注于为私有数据构建高效的检索和索引系统。工程师需要理解其核心概念如Chain, Agent, Tool, Retriever并能灵活使用。智能体Agent开发让AI能够自主使用工具如搜索、计算、执行代码、操作数据库。需要掌握ReAct模式、工具调用Function Calling的实现以及如何设计有效的智能体工作流和规划策略。工作流编排对于复杂的多步骤AI任务可能需要使用如Airflow、Prefect甚至专门为AI设计的框架如微软的Semantic Kernel来进行可视化或代码化的编排、调度和监控。领域三数据工程与检索增强生成这是让AI具备“专业知识”和“长期记忆”的核心也是当前AI落地的最大价值点之一。RAG全流程检索增强生成RAG已成为连接私有数据和通用大模型的标准范式。工程师必须精通其全流程数据加载与预处理从各种格式PDF, Word, 网页数据库提取和清洗文本。文本分割采用合理的策略递归分割、按语义分割将长文本切分为适合嵌入的片段。向量化与嵌入使用嵌入模型如OpenAI的text-embedding或开源的BGE、M3E将文本转换为向量。向量数据库掌握至少一种向量数据库如Pinecone, Weaviate, Qdrant或Milvus, PGVector的部署、索引构建和相似性检索。检索与重排实现混合检索关键词向量并可能使用重排模型提升召回结果的相关性。评估与迭代建立RAG管道的评估体系通过人工评估或自动化指标命中率、答案相关性持续优化分割策略、嵌入模型和检索参数。领域四生产化与运维这是确保AI应用能“活下去”并“活得好”的保障层。可观测性与评估为AI应用添加丰富的日志、指标和追踪。不仅要监控延迟、错误率和成本更要监控AI特有的指标如提示词消耗分布、输出令牌数、甚至通过采样进行输出质量的人工评估。缓存与降级对常见或重复的查询结果进行缓存大幅降低成本和延迟。设计降级策略当主要模型服务不可用时能自动切换到备用模型或返回静态内容。安全、合规与成本管控实施输入/输出过滤防止提示词注入攻击。管理好API密钥和敏感数据。设置预算告警和用量限制实现成本的可预测性。持续集成与部署将提示词、智能体工作流、RAG索引等也纳入版本控制Git。建立CI/CD流水线对AI应用进行自动化测试和蓝绿部署。3. 环境准备构建你的AI工程实验场在深入实践前你需要一个隔离、可复现的开发环境。强烈建议使用虚拟环境或容器。3.1 Python环境与包管理AI工程生态目前以Python为主。使用conda或venv创建独立环境。# 使用conda推荐便于管理不同Python版本和复杂依赖 conda create -n ai-engineering python3.10 conda activate ai-engineering # 或使用venv python -m venv venv # Linux/Mac source venv/bin/activate # Windows venv\Scripts\activate3.2 核心依赖安装我们将安装LangChain和相关的组件这是实践AI工程最常用的工具包。pip install langchain langchain-community langchain-openai # 安装一个本地嵌入模型和向量数据库客户端示例用Chroma pip install sentence-transformers chromadb # 安装用于网页内容抓取的工具可选用于RAG数据准备 pip install beautifulsoup4 requests3.3 配置API密钥大多数商用模型需要API密钥。请务必通过环境变量管理不要硬编码在代码中。# Linux/Mac export OPENAI_API_KEYyour-openai-api-key-here # 或者写入 ~/.bashrc 或 ~/.zshrc # Windows (PowerShell) $env:OPENAI_API_KEYyour-openai-api-key-here在你的Python代码中可以通过os.environ读取import os from langchain_openai import ChatOpenAI llm ChatOpenAI(api_keyos.environ.get(OPENAI_API_KEY))4. 从零构建一个可用的RAG系统完整流程拆解让我们通过一个最经典的AI工程用例——构建一个基于私有文档的智能问答系统来串联技能图谱中的多个关键环节。假设我们有一些公司内部的技术文档Markdown格式想要做一个能回答相关问题的助手。4.1 第一步数据加载与预处理我们将文档加载到内存中并进行初步清洗。# file: data_loader.py from langchain_community.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 1. 加载文档假设文档在 ./docs 目录下 loader DirectoryLoader(./docs, glob**/*.md, loader_clsTextLoader) documents loader.load() print(f已加载 {len(documents)} 个文档) # 2. 分割文本这是RAG效果的关键步骤之一 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个片段的最大字符数 chunk_overlap50, # 片段之间的重叠字符保持上下文连贯 separators[\n\n, \n, 。, , , , , , ] # 中文优先按句分割 ) splits text_splitter.split_documents(documents) print(f分割为 {len(splits)} 个文本片段)关键点chunk_size需要权衡。太小会丢失上下文太大会导致检索不精准且嵌入效果差。对于中文按句分割“。”通常比按固定字符数更好。4.2 第二步向量化与存储将文本片段转换为向量并存入向量数据库。# file: vector_store.py from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma # 1. 选择嵌入模型。使用开源模型避免产生API费用。 # BAAI/bge-small-zh-v1.5 是一个优秀的中文嵌入模型 embeddings HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, model_kwargs{device: cpu}, # 如果GPU可用可改为 cuda encode_kwargs{normalize_embeddings: True} # 归一化提升相似度计算效果 ) # 2. 创建向量存储并持久化 vectorstore Chroma.from_documents( documentssplits, embeddingembeddings, persist_directory./chroma_db # 指定持久化目录 ) vectorstore.persist() # 保存到磁盘 print(向量数据库已创建并持久化到 ./chroma_db)4.3 第三步构建检索与生成链使用LangChain将检索器和大语言模型组合成一个问答链。# file: rag_chain.py from langchain.chains import RetrievalQA from langchain_openai import ChatOpenAI from langchain.vectorstores import Chroma from langchain.embeddings import HuggingFaceEmbeddings # 1. 加载已保存的向量数据库 embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) vectorstore Chroma( persist_directory./chroma_db, embedding_functionembeddings ) # 2. 将向量库转换为检索器可以设置检索数量 retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 返回最相关的3个片段 # 3. 初始化大语言模型这里使用OpenAI GPT-4也可替换为其他 llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0.1) # 低温度保证输出稳定 # 4. 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档“塞”进上下文 retrieverretriever, return_source_documentsTrue, # 返回源文档便于追溯和调试 verboseTrue # 打印详细日志开发时非常有用 )4.4 第四步提问与测试现在我们可以用这个链来回答基于文档的问题了。# file: query_example.py from rag_chain import qa_chain # 提出问题 question 我们公司的AI项目上线流程具体包括哪几个阶段 result qa_chain.invoke({query: question}) print(f问题{question}) print(f答案{result[result]}) print(\n--- 参考来源 ---) for i, doc in enumerate(result[source_documents]): print(f[来源{i1}] {doc.page_content[:200]}...) # 打印前200字符5. 运行结果与效果验证运行上述代码后你应该能看到类似以下的输出问题我们公司的AI项目上线流程具体包括哪几个阶段 答案根据公司内部技术文档AI项目的标准上线流程主要包括以下四个阶段 1. **开发与内部测试阶段**在预发布环境完成功能开发和单元测试、集成测试。 2. **灰度发布阶段**选取小部分真实用户流量例如5%进行A/B测试监控核心指标如响应延迟、错误率、用户满意度。 3. **全量发布阶段**灰度验证通过后逐步将流量切换至新版本期间保持密切监控和快速回滚能力。 4. **线上运维与迭代阶段**持续监控系统表现收集用户反馈并基于数据驱动进行后续迭代优化。 --- 参考来源 --- [来源1] ...项目上线应遵循严格的流程。第一阶段是开发与内部测试需在隔离环境完成... [来源2] ...第二阶段为灰度发布建议初始流量比例不超过5%核心是验证稳定性和效果... [来源3] ...全量发布后进入运维阶段需建立完善的监控告警体系...如何验证效果答案相关性答案是否直接、准确地回答了问题事实正确性对比source_documents答案是否忠实于源文档没有“幻觉”出不存在的信息检索精准度返回的3个来源片段是否都与问题高度相关响应速度从提问到获得答案的整体延迟检索生成是否在可接受范围内如2-5秒如果答案不理想你需要进入“迭代优化”环节这正是AI工程的核心工作。6. 效果不佳常见问题与系统化排查思路一个RAG系统效果不好可能的原因是多方面的。不要盲目调整Prompt请按照以下清单系统性排查问题现象可能原因排查方式解决方案答案与文档无关幻觉1. 检索器没有返回相关文档。2. LLM忽略了检索到的上下文。1. 检查source_documents内容是否与问题相关。2. 在Prompt中明确强调“仅根据给定上下文回答”。1. 优化检索见下文。2. 强化系统提示词你是一个严谨的助手必须严格根据提供的上下文信息回答问题。如果上下文没有相关信息请直接说“根据已知信息无法回答该问题”。检索不到关键信息1. 文本分割不合理关键信息被切碎。2. 嵌入模型不适合领域数据。3. 查询语句与文档表述差异大。1. 检查分割后的片段看关键信息是否完整。2. 尝试不同的chunk_size和chunk_overlap。3. 尝试用同义词或更概括/更具体的方式提问。1. 调整分割策略尝试按章节、按语义分割。2. 尝试不同的嵌入模型如text-embedding-3-small。3. 引入查询重写或查询扩展让检索更鲁棒。答案不完整1.search_kwargs{“k”: n}中的n太小。2. 检索到的文档本身信息不全。1. 增加k的值例如从3调到5。2. 检查源文档质量。1. 增加检索数量k。2. 考虑使用Map-Reduce或Refine等更复杂的链类型来处理多文档信息整合。响应速度慢1. 嵌入模型推理慢特别是本地模型。2. 向量索引未优化。3. LLM API调用慢。1. 使用time模块对各个环节计时。2. 检查网络状况。1. 嵌入模型启用GPU或使用更轻量模型。2. 对向量数据库使用HNSW等高效索引。3. 为LLM调用设置合理的超时并实现异步或批处理。成本过高1. 每次问答都重新生成嵌入如果使用收费嵌入API。2. LLM的输入上下文过长。1. 审查代码确保嵌入已持久化无需每次计算。2. 监控每次调用输入的Token数。1.缓存对相同或相似的查询直接缓存最终答案或检索结果。2.压缩对检索到的文档进行摘要后再喂给LLM减少Token消耗。7. 进阶从Demo到生产的最佳实践要让上述系统真正用于生产还需要做大量工程化工作。7.1 提示词工程标准化与版本管理不要将提示词散落在代码中。将它们抽取为配置文件或模板并纳入Git管理。# file: prompts/qa_system.yaml system_prompt: | 你是一个专业、严谨的公司知识库助手。你的职责是根据用户问题从提供的“参考上下文”中寻找答案。 规则 1. 答案必须严格基于“参考上下文”。不要编造上下文未提及的信息。 2. 如果上下文不包含答案请明确告知用户“根据现有资料我无法回答这个问题”。 3. 答案应清晰、有条理如果适用请使用列表。 4. 最后可以提示用户是否需要就更具体的方面进行追问。 ### 参考上下文 {context} ### 用户问题 {question} ### 请根据以上规则生成回答在代码中加载并使用import yaml with open(prompts/qa_system.yaml, r) as f: prompt_config yaml.safe_load(f) from langchain.prompts import PromptTemplate prompt_template PromptTemplate.from_template(prompt_config[system_prompt]) # 然后在创建chain时使用这个prompt_template7.2 引入评估体系建立自动化评估管道量化每次迭代的效果。检索评估计算检索结果的召回率RecallK和命中率Hit Rate。生成评估设计一套测试问题集QA Pair使用LLM本身如GPT-4作为裁判从相关性、正确性、完整性、简洁性等维度打分。人工评估定期抽样由领域专家进行最终评判。7.3 可观测性与监控在生产环境中你需要知道系统是否健康。基础指标请求量、响应延迟、错误率、Token消耗及成本。AI特有指标检索阶段检索耗时、返回片段数量、top片段相似度分数。生成阶段输入/输出Token数、请求被安全策略拦截的次数。链路追踪为每个用户请求生成唯一ID贯穿检索、LLM调用等所有步骤便于问题排查。7.4 安全与权限输入过滤对用户输入进行基础清洗和敏感词过滤防止Prompt注入攻击。输出过滤对模型生成的内容进行审查防止输出不当或有害信息。数据隔离确保向量数据库和整个流程的数据访问权限与业务系统对齐不同用户/租户的数据必须严格隔离。8. 技能图谱的延伸Agent与工作流编排当你的问答系统需要不仅能“答”还要能“做”时就需要引入智能体Agent。例如用户问“帮我总结上周项目周报的核心风险并发邮件给项目经理”。这需要AI能够调用工具去数据库查询“上周项目周报”。理解内容并总结风险。调用邮件发送接口。使用LangChain可以这样构建一个简单Agentfrom langchain.agents import initialize_agent, Tool from langchain.agents import AgentType from langchain.tools import tool from langchain_openai import ChatOpenAI # 1. 定义工具 tool def search_project_report(week: str) - str: 根据周数如‘2024-W18’查询项目周报内容。 # 这里模拟一个数据库查询 return f模拟返回{week}的项目周报内容主要风险是资源延迟和接口性能瓶颈。 tool def send_email(to: str, subject: str, body: str) - str: 发送邮件到指定邮箱。 # 这里调用真实的邮件API print(f[模拟] 发送邮件给 {to}, 主题: {subject}) return 邮件发送成功。 # 2. 创建工具列表 tools [search_project_report, send_email] # 3. 初始化Agent llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0) agent initialize_agent( tools, llm, agentAgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, # 适合使用工具的Agent类型 verboseTrue, ) # 4. 运行Agent result agent.invoke(帮我总结上周2024-W18项目周报的核心风险并发邮件给项目经理张三zhangsancompany.com。) print(result[output])运行这个Agent你会看到它展示出“思考-行动-观察”的循环ReAct自动选择并调用了正确的工具。将多个这样的Agent和任务组合起来就形成了复杂的AI工作流这需要更强大的编排框架如LangGraph来管理状态和流程。9. 总结你的AI工程学习路径AI工程不是一门孤立的技术而是一个融合了多种技能的实践体系。回顾整个技能图谱和实战案例你可以为自己制定一个清晰的学习路径入门1-2个月掌握基础模型调用和Prompt工程。能用API完成简单的文本生成、总结、对话任务。理解Temperature、System Prompt等核心概念。进阶2-4个月深入一个主流框架LangChain。构建一个完整的RAG应用理解从数据加载、分割、嵌入到检索、生成的完整闭环。学会使用向量数据库。深化3-6个月研究Agent开发。让AI学会使用工具。开始关注生产化问题缓存、限流、监控、评估。学习如何对AI应用进行AB测试和效果评估。精通持续参与复杂工作流编排设计面向特定领域如客服、编程、数据分析的AI系统架构。深入研究模型微调、成本优化、安全合规等企业级议题。最关键的是转变思维从“调用一个模型”到“构建一个系统”。这个系统里大模型只是其中一个核心组件围绕它需要构建数据管道、业务逻辑、监控告警和运维体系。这份技能图谱就是你构建这个系统的工具箱。现在就从搭建第一个可维护、可评估的RAG系统开始吧。
AI工程核心技能图谱：从模型调用到生产落地的实战指南
最近和几个技术团队负责人聊天发现一个普遍焦虑公司要上AI项目但团队里没人能真正“Hold住”。不是缺会调API的程序员而是缺能把AI能力稳定、可靠、规模化落地到业务系统里的人。大家突然意识到会写Prompt和会做“AI工程”完全是两码事。这背后是一个关键认知的转变AI正在从“玩具”和“演示Demo”阶段进入“生产系统”阶段。当一项技术开始承载真实业务流量、处理核心数据、影响用户体验和公司营收时对它的要求就截然不同了。它需要可观测、可调试、可回滚、可协作、符合安全规范并且成本可控。这就是AI工程要解决的核心问题。今天要讨论的“AI工程核心技能图谱”正是为了回应这个时代性的需求。它不是一个简单的工具列表而是一套将AI从实验室带入真实生产环境的系统性方法论和技能集合。如果你正面临“如何让AI项目真正跑起来”的困惑或者想知道自己或团队在AI浪潮中该补足哪些能力这篇文章将为你提供一个清晰的行动路线图。1. 为什么你需要关注“AI工程”而不仅仅是“AI模型”过去一年很多开发者体验了ChatGPT的惊艳用上了Midjourney也尝试调用各种大模型API。但当我们试图把这些能力集成到自己的App、网站或内部系统中时问题接踵而至。问题一效果不稳定。今天调好的Prompt明天模型一更新输出质量就下降了。同一个问题问两次可能得到截然不同的答案幻觉问题。问题二成本失控。按Token计费的API在用户量上来后账单可能呈指数级增长。一次不经意的长上下文调用可能就花掉几十美元。问题三难以集成。如何把AI能力无缝嵌入到现有的用户登录、数据库、业务流程和监控告警体系中如何做AB测试问题四安全与合规。用户输入和AI输出可能包含敏感信息如何防止数据泄露如何过滤不当内容如何满足审计要求这些都不是靠研究新模型架构或调优几个超参数能解决的。它们属于工程问题。AI工程的核心目标就是构建一套体系让AI应用像我们熟悉的微服务、数据库一样变得可靠、高效、可维护。因此AI工程师的角色更像是“AI时代的全栈DevOps”他需要横跨机器学习、软件工程、云计算和数据工程等多个领域。下面的技能图谱就是为这个新角色绘制的“能力地图”。2. AI工程核心技能图谱全景解读我们可以将AI工程所需技能分为四大支柱领域它们共同支撑起一个健壮的AI应用。下图展示了这四大领域及其关键技能组件注此处用文字描述一个技能矩阵实际写作中可用清晰表格替代图表领域一基础模型与提示工程这是与AI模型直接交互的一层是效果的起点。模型选型与接入了解主流商用APIOpenAI GPT, Anthropic Claude, 国内大模型和开源模型Llama, Qwen, DeepSeek等的特点、成本、速率限制。掌握如何通过SDK或HTTP API进行基础调用。提示词工程超越基础问答。掌握思维链Chain-of-Thought、少样本学习Few-Shot、角色设定Role-Playing、结构化输出JSON Mode等高级技巧。理解温度Temperature、Top-p等参数对生成结果的影响。上下文管理大模型有上下文窗口限制。如何通过摘要、过滤、优先级排序等技术在有限的窗口内放入最相关的信息这是解决长文本处理问题的关键。领域二AI应用开发框架与编排这是将单个AI调用组装成复杂业务流程的“粘合剂”。LangChain / LlamaIndex这两个是目前最流行的AI应用框架。LangChain擅长通过“链”Chain将模型、工具、记忆等组件连接起来LlamaIndex则专注于为私有数据构建高效的检索和索引系统。工程师需要理解其核心概念如Chain, Agent, Tool, Retriever并能灵活使用。智能体Agent开发让AI能够自主使用工具如搜索、计算、执行代码、操作数据库。需要掌握ReAct模式、工具调用Function Calling的实现以及如何设计有效的智能体工作流和规划策略。工作流编排对于复杂的多步骤AI任务可能需要使用如Airflow、Prefect甚至专门为AI设计的框架如微软的Semantic Kernel来进行可视化或代码化的编排、调度和监控。领域三数据工程与检索增强生成这是让AI具备“专业知识”和“长期记忆”的核心也是当前AI落地的最大价值点之一。RAG全流程检索增强生成RAG已成为连接私有数据和通用大模型的标准范式。工程师必须精通其全流程数据加载与预处理从各种格式PDF, Word, 网页数据库提取和清洗文本。文本分割采用合理的策略递归分割、按语义分割将长文本切分为适合嵌入的片段。向量化与嵌入使用嵌入模型如OpenAI的text-embedding或开源的BGE、M3E将文本转换为向量。向量数据库掌握至少一种向量数据库如Pinecone, Weaviate, Qdrant或Milvus, PGVector的部署、索引构建和相似性检索。检索与重排实现混合检索关键词向量并可能使用重排模型提升召回结果的相关性。评估与迭代建立RAG管道的评估体系通过人工评估或自动化指标命中率、答案相关性持续优化分割策略、嵌入模型和检索参数。领域四生产化与运维这是确保AI应用能“活下去”并“活得好”的保障层。可观测性与评估为AI应用添加丰富的日志、指标和追踪。不仅要监控延迟、错误率和成本更要监控AI特有的指标如提示词消耗分布、输出令牌数、甚至通过采样进行输出质量的人工评估。缓存与降级对常见或重复的查询结果进行缓存大幅降低成本和延迟。设计降级策略当主要模型服务不可用时能自动切换到备用模型或返回静态内容。安全、合规与成本管控实施输入/输出过滤防止提示词注入攻击。管理好API密钥和敏感数据。设置预算告警和用量限制实现成本的可预测性。持续集成与部署将提示词、智能体工作流、RAG索引等也纳入版本控制Git。建立CI/CD流水线对AI应用进行自动化测试和蓝绿部署。3. 环境准备构建你的AI工程实验场在深入实践前你需要一个隔离、可复现的开发环境。强烈建议使用虚拟环境或容器。3.1 Python环境与包管理AI工程生态目前以Python为主。使用conda或venv创建独立环境。# 使用conda推荐便于管理不同Python版本和复杂依赖 conda create -n ai-engineering python3.10 conda activate ai-engineering # 或使用venv python -m venv venv # Linux/Mac source venv/bin/activate # Windows venv\Scripts\activate3.2 核心依赖安装我们将安装LangChain和相关的组件这是实践AI工程最常用的工具包。pip install langchain langchain-community langchain-openai # 安装一个本地嵌入模型和向量数据库客户端示例用Chroma pip install sentence-transformers chromadb # 安装用于网页内容抓取的工具可选用于RAG数据准备 pip install beautifulsoup4 requests3.3 配置API密钥大多数商用模型需要API密钥。请务必通过环境变量管理不要硬编码在代码中。# Linux/Mac export OPENAI_API_KEYyour-openai-api-key-here # 或者写入 ~/.bashrc 或 ~/.zshrc # Windows (PowerShell) $env:OPENAI_API_KEYyour-openai-api-key-here在你的Python代码中可以通过os.environ读取import os from langchain_openai import ChatOpenAI llm ChatOpenAI(api_keyos.environ.get(OPENAI_API_KEY))4. 从零构建一个可用的RAG系统完整流程拆解让我们通过一个最经典的AI工程用例——构建一个基于私有文档的智能问答系统来串联技能图谱中的多个关键环节。假设我们有一些公司内部的技术文档Markdown格式想要做一个能回答相关问题的助手。4.1 第一步数据加载与预处理我们将文档加载到内存中并进行初步清洗。# file: data_loader.py from langchain_community.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 1. 加载文档假设文档在 ./docs 目录下 loader DirectoryLoader(./docs, glob**/*.md, loader_clsTextLoader) documents loader.load() print(f已加载 {len(documents)} 个文档) # 2. 分割文本这是RAG效果的关键步骤之一 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个片段的最大字符数 chunk_overlap50, # 片段之间的重叠字符保持上下文连贯 separators[\n\n, \n, 。, , , , , , ] # 中文优先按句分割 ) splits text_splitter.split_documents(documents) print(f分割为 {len(splits)} 个文本片段)关键点chunk_size需要权衡。太小会丢失上下文太大会导致检索不精准且嵌入效果差。对于中文按句分割“。”通常比按固定字符数更好。4.2 第二步向量化与存储将文本片段转换为向量并存入向量数据库。# file: vector_store.py from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma # 1. 选择嵌入模型。使用开源模型避免产生API费用。 # BAAI/bge-small-zh-v1.5 是一个优秀的中文嵌入模型 embeddings HuggingFaceEmbeddings( model_nameBAAI/bge-small-zh-v1.5, model_kwargs{device: cpu}, # 如果GPU可用可改为 cuda encode_kwargs{normalize_embeddings: True} # 归一化提升相似度计算效果 ) # 2. 创建向量存储并持久化 vectorstore Chroma.from_documents( documentssplits, embeddingembeddings, persist_directory./chroma_db # 指定持久化目录 ) vectorstore.persist() # 保存到磁盘 print(向量数据库已创建并持久化到 ./chroma_db)4.3 第三步构建检索与生成链使用LangChain将检索器和大语言模型组合成一个问答链。# file: rag_chain.py from langchain.chains import RetrievalQA from langchain_openai import ChatOpenAI from langchain.vectorstores import Chroma from langchain.embeddings import HuggingFaceEmbeddings # 1. 加载已保存的向量数据库 embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-small-zh-v1.5) vectorstore Chroma( persist_directory./chroma_db, embedding_functionembeddings ) # 2. 将向量库转换为检索器可以设置检索数量 retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 返回最相关的3个片段 # 3. 初始化大语言模型这里使用OpenAI GPT-4也可替换为其他 llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0.1) # 低温度保证输出稳定 # 4. 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 将检索到的所有文档“塞”进上下文 retrieverretriever, return_source_documentsTrue, # 返回源文档便于追溯和调试 verboseTrue # 打印详细日志开发时非常有用 )4.4 第四步提问与测试现在我们可以用这个链来回答基于文档的问题了。# file: query_example.py from rag_chain import qa_chain # 提出问题 question 我们公司的AI项目上线流程具体包括哪几个阶段 result qa_chain.invoke({query: question}) print(f问题{question}) print(f答案{result[result]}) print(\n--- 参考来源 ---) for i, doc in enumerate(result[source_documents]): print(f[来源{i1}] {doc.page_content[:200]}...) # 打印前200字符5. 运行结果与效果验证运行上述代码后你应该能看到类似以下的输出问题我们公司的AI项目上线流程具体包括哪几个阶段 答案根据公司内部技术文档AI项目的标准上线流程主要包括以下四个阶段 1. **开发与内部测试阶段**在预发布环境完成功能开发和单元测试、集成测试。 2. **灰度发布阶段**选取小部分真实用户流量例如5%进行A/B测试监控核心指标如响应延迟、错误率、用户满意度。 3. **全量发布阶段**灰度验证通过后逐步将流量切换至新版本期间保持密切监控和快速回滚能力。 4. **线上运维与迭代阶段**持续监控系统表现收集用户反馈并基于数据驱动进行后续迭代优化。 --- 参考来源 --- [来源1] ...项目上线应遵循严格的流程。第一阶段是开发与内部测试需在隔离环境完成... [来源2] ...第二阶段为灰度发布建议初始流量比例不超过5%核心是验证稳定性和效果... [来源3] ...全量发布后进入运维阶段需建立完善的监控告警体系...如何验证效果答案相关性答案是否直接、准确地回答了问题事实正确性对比source_documents答案是否忠实于源文档没有“幻觉”出不存在的信息检索精准度返回的3个来源片段是否都与问题高度相关响应速度从提问到获得答案的整体延迟检索生成是否在可接受范围内如2-5秒如果答案不理想你需要进入“迭代优化”环节这正是AI工程的核心工作。6. 效果不佳常见问题与系统化排查思路一个RAG系统效果不好可能的原因是多方面的。不要盲目调整Prompt请按照以下清单系统性排查问题现象可能原因排查方式解决方案答案与文档无关幻觉1. 检索器没有返回相关文档。2. LLM忽略了检索到的上下文。1. 检查source_documents内容是否与问题相关。2. 在Prompt中明确强调“仅根据给定上下文回答”。1. 优化检索见下文。2. 强化系统提示词你是一个严谨的助手必须严格根据提供的上下文信息回答问题。如果上下文没有相关信息请直接说“根据已知信息无法回答该问题”。检索不到关键信息1. 文本分割不合理关键信息被切碎。2. 嵌入模型不适合领域数据。3. 查询语句与文档表述差异大。1. 检查分割后的片段看关键信息是否完整。2. 尝试不同的chunk_size和chunk_overlap。3. 尝试用同义词或更概括/更具体的方式提问。1. 调整分割策略尝试按章节、按语义分割。2. 尝试不同的嵌入模型如text-embedding-3-small。3. 引入查询重写或查询扩展让检索更鲁棒。答案不完整1.search_kwargs{“k”: n}中的n太小。2. 检索到的文档本身信息不全。1. 增加k的值例如从3调到5。2. 检查源文档质量。1. 增加检索数量k。2. 考虑使用Map-Reduce或Refine等更复杂的链类型来处理多文档信息整合。响应速度慢1. 嵌入模型推理慢特别是本地模型。2. 向量索引未优化。3. LLM API调用慢。1. 使用time模块对各个环节计时。2. 检查网络状况。1. 嵌入模型启用GPU或使用更轻量模型。2. 对向量数据库使用HNSW等高效索引。3. 为LLM调用设置合理的超时并实现异步或批处理。成本过高1. 每次问答都重新生成嵌入如果使用收费嵌入API。2. LLM的输入上下文过长。1. 审查代码确保嵌入已持久化无需每次计算。2. 监控每次调用输入的Token数。1.缓存对相同或相似的查询直接缓存最终答案或检索结果。2.压缩对检索到的文档进行摘要后再喂给LLM减少Token消耗。7. 进阶从Demo到生产的最佳实践要让上述系统真正用于生产还需要做大量工程化工作。7.1 提示词工程标准化与版本管理不要将提示词散落在代码中。将它们抽取为配置文件或模板并纳入Git管理。# file: prompts/qa_system.yaml system_prompt: | 你是一个专业、严谨的公司知识库助手。你的职责是根据用户问题从提供的“参考上下文”中寻找答案。 规则 1. 答案必须严格基于“参考上下文”。不要编造上下文未提及的信息。 2. 如果上下文不包含答案请明确告知用户“根据现有资料我无法回答这个问题”。 3. 答案应清晰、有条理如果适用请使用列表。 4. 最后可以提示用户是否需要就更具体的方面进行追问。 ### 参考上下文 {context} ### 用户问题 {question} ### 请根据以上规则生成回答在代码中加载并使用import yaml with open(prompts/qa_system.yaml, r) as f: prompt_config yaml.safe_load(f) from langchain.prompts import PromptTemplate prompt_template PromptTemplate.from_template(prompt_config[system_prompt]) # 然后在创建chain时使用这个prompt_template7.2 引入评估体系建立自动化评估管道量化每次迭代的效果。检索评估计算检索结果的召回率RecallK和命中率Hit Rate。生成评估设计一套测试问题集QA Pair使用LLM本身如GPT-4作为裁判从相关性、正确性、完整性、简洁性等维度打分。人工评估定期抽样由领域专家进行最终评判。7.3 可观测性与监控在生产环境中你需要知道系统是否健康。基础指标请求量、响应延迟、错误率、Token消耗及成本。AI特有指标检索阶段检索耗时、返回片段数量、top片段相似度分数。生成阶段输入/输出Token数、请求被安全策略拦截的次数。链路追踪为每个用户请求生成唯一ID贯穿检索、LLM调用等所有步骤便于问题排查。7.4 安全与权限输入过滤对用户输入进行基础清洗和敏感词过滤防止Prompt注入攻击。输出过滤对模型生成的内容进行审查防止输出不当或有害信息。数据隔离确保向量数据库和整个流程的数据访问权限与业务系统对齐不同用户/租户的数据必须严格隔离。8. 技能图谱的延伸Agent与工作流编排当你的问答系统需要不仅能“答”还要能“做”时就需要引入智能体Agent。例如用户问“帮我总结上周项目周报的核心风险并发邮件给项目经理”。这需要AI能够调用工具去数据库查询“上周项目周报”。理解内容并总结风险。调用邮件发送接口。使用LangChain可以这样构建一个简单Agentfrom langchain.agents import initialize_agent, Tool from langchain.agents import AgentType from langchain.tools import tool from langchain_openai import ChatOpenAI # 1. 定义工具 tool def search_project_report(week: str) - str: 根据周数如‘2024-W18’查询项目周报内容。 # 这里模拟一个数据库查询 return f模拟返回{week}的项目周报内容主要风险是资源延迟和接口性能瓶颈。 tool def send_email(to: str, subject: str, body: str) - str: 发送邮件到指定邮箱。 # 这里调用真实的邮件API print(f[模拟] 发送邮件给 {to}, 主题: {subject}) return 邮件发送成功。 # 2. 创建工具列表 tools [search_project_report, send_email] # 3. 初始化Agent llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0) agent initialize_agent( tools, llm, agentAgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, # 适合使用工具的Agent类型 verboseTrue, ) # 4. 运行Agent result agent.invoke(帮我总结上周2024-W18项目周报的核心风险并发邮件给项目经理张三zhangsancompany.com。) print(result[output])运行这个Agent你会看到它展示出“思考-行动-观察”的循环ReAct自动选择并调用了正确的工具。将多个这样的Agent和任务组合起来就形成了复杂的AI工作流这需要更强大的编排框架如LangGraph来管理状态和流程。9. 总结你的AI工程学习路径AI工程不是一门孤立的技术而是一个融合了多种技能的实践体系。回顾整个技能图谱和实战案例你可以为自己制定一个清晰的学习路径入门1-2个月掌握基础模型调用和Prompt工程。能用API完成简单的文本生成、总结、对话任务。理解Temperature、System Prompt等核心概念。进阶2-4个月深入一个主流框架LangChain。构建一个完整的RAG应用理解从数据加载、分割、嵌入到检索、生成的完整闭环。学会使用向量数据库。深化3-6个月研究Agent开发。让AI学会使用工具。开始关注生产化问题缓存、限流、监控、评估。学习如何对AI应用进行AB测试和效果评估。精通持续参与复杂工作流编排设计面向特定领域如客服、编程、数据分析的AI系统架构。深入研究模型微调、成本优化、安全合规等企业级议题。最关键的是转变思维从“调用一个模型”到“构建一个系统”。这个系统里大模型只是其中一个核心组件围绕它需要构建数据管道、业务逻辑、监控告警和运维体系。这份技能图谱就是你构建这个系统的工具箱。现在就从搭建第一个可维护、可评估的RAG系统开始吧。
