在实际 AI 项目开发中我们常常遇到一个核心挑战如何让一个 AI 智能体Agent不仅能够执行单次任务还能自主地、持续地处理一个需要多步骤、有状态、甚至能根据反馈调整策略的复杂流程。这背后的关键就是为智能体设计一个稳定、可靠且高效的“循环架构”。它决定了智能体如何感知、思考、决策和行动并在此过程中不断学习与进化。一个设计良好的循环架构是智能体从“一次性工具”迈向“自主系统”的桥梁。本文将深入探讨如何为 AI 智能体设计和实现一个自洽的循环架构。我们将从最基础的“感知-思考-行动”循环ReAct模式入手逐步引入记忆、工具使用、自我反思等高级组件最终构建一个能够编写、评估并迭代自身代码的智能体系统。这个过程不仅适用于构建自动化助手也是开发复杂 AI 应用如自动化测试、数据分析流水线、游戏 NPC 等的核心方法论。1. 理解智能体循环架构的核心从 ReAct 到自主进化在深入代码之前必须厘清几个核心概念。智能体Agent并非指一个具体的大模型而是一个由大模型驱动、具备感知环境、制定计划、执行动作并从中学习能力的软件系统。其核心在于“循环”Loop即持续运行的处理周期。1.1 基础循环ReActReasoning Acting模式ReAct 是目前最主流、最基础的智能体循环范式。它将一次循环分解为三个清晰阶段观察Observe智能体接收来自环境的输入。这可能是用户的提问、上一个动作的执行结果、系统状态的变化等。思考Reason智能体基于观察结合自身记忆上下文进行推理决定下一步要做什么。这个“思考”过程通常以大模型生成文本包含推理链的形式呈现。行动Act智能体执行思考后决定的动作。动作可以是调用一个工具如搜索、计算、读写文件、生成一段回复或者修改内部状态。完成行动后行动的结果会作为新的“观察”输入到下一个循环中如此周而复始。这个简单的循环是构建更复杂架构的基石。1.2 循环架构的扩展组件一个成熟的智能体循环架构会在基础 ReAct 循环上集成以下关键组件记忆Memory分为短期记忆会话上下文和长期记忆向量数据库等。记忆使智能体能够参考历史信息避免重复工作或陷入逻辑矛盾。工具Tools赋予智能体超越文本生成的能力。工具可以是函数、API、命令行指令等。智能体在“思考”阶段决定使用哪个工具并在“行动”阶段调用它。规划Planning对于复杂任务智能体需要先分解目标制定分步计划Plan然后在每个循环中执行计划的一步或几步。反思Reflection在行动之后智能体评估结果是否达到预期。如果未达到则分析原因并可能调整后续计划或策略。这是实现“自我改进”的关键。我们将要构建的“能编写自己循环架构的智能体”其核心就是利用“工具使用”和“反思”能力让智能体可以生成、执行并评估代码从而迭代优化其自身的运行逻辑。2. 环境准备与核心工具选型在开始构建之前需要搭建开发环境并选择合适的技术栈。我们的目标是构建一个概念验证PoC系统因此选择 Python 生态中成熟且易用的框架。2.1 基础环境与依赖首先确保你的 Python 环境版本在 3.8 以上。然后通过 pip 安装核心依赖。我们将使用langchain和langchain-community作为智能体框架的基础因为它们提供了丰富的工具集成和智能体模板。# 创建并激活虚拟环境推荐 python -m venv ai_agent_env source ai_agent_env/bin/activate # Linux/macOS # ai_agent_env\Scripts\activate # Windows # 安装核心依赖 pip install langchain langchain-community pip install openai # 我们将使用 OpenAI 的模型作为“大脑” pip install python-dotenv # 用于管理环境变量如API密钥2.2 大模型接入与配置智能体的“思考”能力依赖于大语言模型LLM。这里以 OpenAI GPT-4 为例你也可以替换为其他兼容 OpenAI API 的模型或本地模型。获取 OpenAI API 密钥。在项目根目录创建.env文件并添加密钥OPENAI_API_KEYyour_api_key_here在 Python 代码中加载配置并初始化 LLMimport os from dotenv import load_dotenv from langchain_openai import ChatOpenAI load_dotenv() # 加载 .env 文件中的环境变量 # 初始化 LLM temperature 调低使输出更稳定可控 llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0.1, api_keyos.getenv(OPENAI_API_KEY))2.3 关键工具准备代码执行器为了让智能体能够“编写并运行自己的架构”我们必须为其提供一个安全的代码执行工具。警告直接执行 AI 生成的代码存在极高风险我们必须在一个严格受限的沙箱环境中进行。我们将使用langchain的PythonREPLTool它可以在一个独立的子进程中执行 Python 代码并返回结果或错误信息。from langchain_community.tools import PythonREPLTool python_repl PythonREPLTool()这个工具将成为智能体“行动”阶段的关键武器允许它动态生成和测试代码。3. 构建基础循环智能体一个代码编写助手让我们先构建一个具备基础 ReAct 循环、并能使用 Python REPL 工具的智能体。这个智能体可以理解用户关于代码任务的自然语言描述并尝试编写和执行代码来完成任务。3.1 定义工具集与提示词首先为智能体装备工具。目前我们只给它一个最强大的工具Python 解释器。from langchain.agents import initialize_agent, AgentType from langchain.agents import Tool # 将 Python REPL 包装成 LangChain Tool 对象 tools [ Tool( namePython_REPL, funcpython_repl.run, description一个 Python REPL读取-求值-输出循环工具。用于执行 Python 代码。 输入必须是有效的 Python 代码字符串。 使用此工具可以计算表达式、执行算法或测试函数。 注意代码将在当前会话的独立环境中运行但请谨慎执行来自不可信来源的代码。 ) ]接下来设计驱动智能体“思考”的提示词。langchain的ZERO_SHOT_REACT_DESCRIPTION代理类型内置了不错的 ReAct 格式提示但我们也可以进行微调。from langchain.prompts import PromptTemplate # 自定义系统提示明确智能体的角色和能力 agent_prompt PromptTemplate.from_template( 你是一个专业的 Python 程序员 AI 助手。你可以使用 Python REPL 工具来编写和执行代码以解决问题。 请严格遵循以下格式 问题用户提出的问题 思考你需要分析问题并决定是否以及如何使用 Python 工具。解释你的推理过程。 行动你要执行的动作必须是以下格式之一 - 使用工具Action: Python_REPL Action Input: 后接你要执行的 Python 代码。 - 直接回答Final Answer: 后接你的最终答案。 观察工具执行的结果或你对当前情况的分析。 ... (这个思考/行动/观察循环可以重复多次) 最终答案当你认为问题已解决或无法继续时给出最终答案。 开始 问题{input} 思考{agent_scratchpad} )3.2 初始化并运行智能体使用initialize_agent函数将 LLM、工具和提示策略组合起来创建一个可运行的智能体对象。# 初始化智能体 agent initialize_agent( tools, llm, agentAgentType.ZERO_SHOT_REACT_DESCRIPTION, # 使用 ReAct 策略 verboseTrue, # 设置为 True 可以看到智能体详细的思考过程便于调试 handle_parsing_errorsTrue, # 优雅处理解析错误 max_iterations10, # 防止无限循环设置最大迭代次数 early_stopping_methodgenerate, # 达到最大迭代次数时让它生成一个最终答案 ) # 运行智能体尝试一个简单的代码任务 result agent.run(请编写一个函数计算斐波那契数列的第n项并计算第10项的值。) print(result)当verboseTrue时你将在控制台看到类似以下的输出清晰地展示了 ReAct 循环 Entering new AgentExecutor chain... 思考用户需要计算斐波那契数列。我需要编写一个函数来实现它然后调用函数计算第10项。我应该使用 Python_REPL 工具。 行动Action: Python_REPL Action Input: def fibonacci(n): if n 0: return 0 elif n 1: return 1 else: a, b 0, 1 for _ in range(2, n1): a, b b, a b return b print(fibonacci(10)) 观察55 思考函数执行成功并输出了结果55。这与斐波那契数列第10项从第1项为1开始相符。任务完成。 行动Final Answer: 斐波那契数列的第10项是55。我编写的函数可以计算任意正整数n对应的项。至此一个具备基础“观察-思考-行动”循环的代码编写智能体已经构建完成。它能够接收任务、规划解决方案编写函数、执行代码并返回结果。4. 实现自我迭代让智能体评估并修改自己的代码基础智能体只能“执行任务”我们的目标是让它能“改进自身”。关键在于引入“反思”环节。我们将设计一个更高级的循环智能体生成代码 - 执行并测试 - 分析结果 - 如果不符合预期则修改代码 - 再次测试。4.1 设计一个包含测试要求的任务我们给智能体一个更复杂的任务其中包含了“正确性”的隐含要求促使它必须进行测试和验证。complex_task 请编写一个Python函数 process_data(input_list)要求 1. 输入是一个包含数字和字符串的列表例如 [1, a, 2, b, 3]。 2. 函数需要过滤出所有的整数。 3. 将这些整数转换为字符串后用连字符 - 连接起来。 4. 返回连接后的字符串。 例如输入 [1, a, 2, b, 3] 应返回 1-2-3。 请确保你的函数能正确处理边界情况比如空列表、列表中没有整数等。 编写完成后请用几个测试用例验证你的函数并报告验证结果。 4.2 构建高阶监督循环我们将手动实现一个外层的监督循环来模拟智能体的“自我反思”过程。这个循环会要求智能体生成解决方案代码。要求智能体生成测试用例。执行测试并收集结果。如果测试失败将错误信息反馈给智能体要求它修复。重复此过程直到成功或达到最大重试次数。def self_improving_agent_loop(task_description, max_attempts3): 一个让智能体自我改进的循环。 conversation_history [] for attempt in range(max_attempts): print(f\n{*50}) print(f尝试第 {attempt 1} 次) print(f{*50}) # 阶段1生成解决方案和测试 if attempt 0: prompt f 任务{task_description} 请分两步完成 第一步编写符合要求的 process_data 函数。 第二步编写至少三个测试用例来验证你的函数包括正常情况和边界情况。 请将代码和测试用例一起提供。 else: # 后续尝试附加上次错误信息要求修复 prompt f 任务{task_description} 之前的尝试失败了。错误信息如下 {conversation_history[-1][error]} 请分析错误原因修正你的 process_data 函数并重新提供修正后的代码和测试用例。 # 让智能体生成代码 print(f思考中...) response agent.run(prompt) print(f生成的响应\n{response}) # 从响应中提取代码块这里简化处理实际应用需要更稳健的解析 # 假设智能体将代码包裹在 python ... 中 import re code_blocks re.findall(rpython\n(.*?)\n, response, re.DOTALL) if not code_blocks: print(未在响应中找到代码块。) conversation_history.append({response: response, error: 无有效代码}) continue combined_code \n.join(code_blocks) print(f提取的代码\n{combined_code}) # 阶段2执行测试 test_code combined_code \n\n# 执行测试\nprint(测试开始) # 这里可以更精细地捕获测试输出例如通过重定向 sys.stdout try: exec_result python_repl.run(test_code) print(f执行结果\n{exec_result}) # 简单判断是否成功这里可根据实际输出做更复杂的验证 if AssertionError not in exec_result and Error not in exec_result and Traceback not in exec_result: print(f✅ 第 {attempt 1} 次尝试成功) return { success: True, attempts: attempt 1, final_code: combined_code, execution_output: exec_result } else: error_msg 测试执行中出现错误或断言失败。 print(f❌ 测试失败{error_msg}) conversation_history.append({response: response, code: combined_code, error: error_msg f\n输出{exec_result}}) except Exception as e: error_msg str(e) print(f❌ 代码执行异常{error_msg}) conversation_history.append({response: response, code: combined_code, error: f执行异常{error_msg}}) print(f\n⚠️ 经过 {max_attempts} 次尝试仍未成功。) return {success: False, attempts: max_attempts, history: conversation_history} # 运行自我改进循环 final_result self_improving_agent_loop(complex_task, max_attempts3)在这个循环中智能体扮演了“开发者”和“初级测试员”的双重角色。外部的self_improving_agent_loop函数则充当了“项目经理”或“CI/CD管道”的角色负责调度、执行测试并提供反馈。这就是一个具体而微的“自我迭代架构”。5. 架构抽象将循环模式固化为可重用的智能体前面的例子中循环逻辑是硬编码在函数里的。一个更高级的智能体应该能够理解“循环架构”这个概念并动态地应用它。我们可以引导智能体去编写一个实现了特定循环模式如“生成-测试-修复”的框架类。5.1 定义架构描述与生成任务我们向智能体提出一个元任务请编写一个 Python 类该类实现一个智能体循环框架。framework_task 请设计并实现一个名为 SelfImprovingAgent 的 Python 类它封装一个自我改进的循环。 这个类应该有以下核心方法 1. __init__(self, llm, tools): 初始化接收一个大语言模型llm和一个工具列表。 2. run_task(self, task_description): 主循环方法。给定一个任务描述它应 a. 分析任务并生成初始解决方案代码。 b. 生成测试代码来验证解决方案。 c. 在一个安全环境如 Python REPL中执行测试。 d. 如果测试失败分析错误并生成修复方案。 e. 重复步骤 b-d直到成功或达到最大迭代次数。 3. get_final_solution(self): 返回最终成功的代码。 请考虑循环控制最大重试次数、错误处理以及如何将执行结果反馈给LLM进行下一轮思考。 请输出完整的类定义代码并附上一个简单的使用示例。 5.2 执行架构生成与验证将这个元任务交给我们的基础智能体让它生成框架代码。framework_code_response agent.run(framework_task) print(framework_code_response)智能体可能会生成一个包含SelfImprovingAgent类的代码。重要提示由于生成代码的复杂性直接信任并执行存在风险。我们应该在一个全新的、隔离的环境中验证这段代码。# 假设我们从响应中提取出了类定义代码 generated_framework_code # 我们可以创建一个临时文件来保存并导入它或者直接在一个独立的 Python 进程中评估它。 # 这里演示一个简单的验证思路 validation_prompt f 你刚刚生成了一段名为 SelfImprovingAgent 的框架代码。 现在请扮演一个测试者为这个类编写一个完整的单元测试。 测试应该 1. 模拟一个简单的 LLM 和工具例如一个总是返回固定字符串的假 LLM和一个打印信息的假工具。 2. 实例化 SelfImprovingAgent。 3. 调用 run_task 方法传入一个简单的任务例如“编写一个返回两数之和的函数”。 4. 断言最终能获取到一个有效的解决方案。 请输出完整的单元测试代码。 validation_response agent.run(validation_prompt) print(validation_response)通过让智能体为自己生成的框架编写测试我们进一步将“反思”和“验证”机制融入了开发流程。如果生成的框架代码通过了它自己设计的测试在严格沙箱中那将是一个强有力的证明表明智能体确实具备了理解和实现特定循环架构的能力。6. 常见问题与排查指南在构建和运行此类自循环智能体时你会遇到一些典型问题。6.1 智能体陷入无效循环或重复动作问题现象可能原因检查与解决方式智能体反复执行相同工具调用无法推进。1.提示词不清晰未明确要求智能体在得到结果后进入下一步。2.工具描述不准确工具功能描述模糊导致智能体误用。3.模型“幻觉”模型陷入错误的推理路径。1.强化提示词在提示中明确写出循环结束条件如“当你得到最终答案时必须使用Final Answer:开头”。2.简化工具每个工具功能尽量单一描述精确。3.设置迭代限制使用max_iterations参数强制退出循环。4.启用详细日志通过verboseTrue观察思考过程定位卡点。6.2 代码生成与执行错误问题现象可能原因检查与解决方式生成的代码无法执行语法错误或运行时错误。1.模型知识截止模型可能不了解最新库的语法。2.上下文不足生成的代码片段缺少必要的导入或依赖。3.沙箱环境差异沙箱中缺少某些包或权限。1.提供上下文在任务描述中指定 Python 版本和允许使用的标准库。2.分步生成先让智能体生成思路或伪代码再生成具体代码。3.增强错误反馈将完整的错误追踪Traceback信息反馈给智能体让其修正。4.限制代码范围明确禁止使用os.system,subprocess,__import__等危险操作。6.3 智能体无法理解“自我改进”的元任务问题现象可能原因检查与解决方式智能体生成的“框架”只是一个普通函数没有实现循环逻辑。1.任务描述过于抽象智能体未能理解“循环”、“状态”、“迭代”等元概念。2.缺乏示例智能体没有见过类似的设计模式。1.拆解任务将“编写框架”拆解为“先编写一个循环函数”“再将其封装为类”。2.提供示例在提示词中给出一个极其简单的类似循环的代码片段作为参考。3.使用更强大的模型对于复杂的元认知任务GPT-4 等更高级模型通常比 GPT-3.5 表现更好。6.4 安全与资源风险问题风险后果缓解措施任意代码执行智能体生成恶意代码删除文件、访问网络、消耗资源。1.使用严格沙箱如 Docker 容器、资源限制ulimit、网络隔离。2.代码审查在最终执行前加入一层简单的关键字过滤或AST抽象语法树分析拦截危险操作。3.最小权限原则运行智能体的进程应具有最低必要权限。无限循环智能体生成的代码或循环逻辑导致死循环耗尽 CPU。1.设置超时对每次工具调用如 REPL 执行设置时间限制。2.外部看门狗主进程监控子进程的执行时间超时即终止。依赖混淆智能体代码尝试安装或导入不存在的包。1.白名单机制预先定义允许导入的模块列表。2.虚拟环境在干净的、仅包含必要依赖的虚拟环境中运行。7. 生产环境最佳实践与扩展方向将实验性的自循环智能体推向生产环境需要额外的严谨性和架构设计。7.1 安全与隔离强化深度沙箱化不要仅依赖PythonREPLTool。考虑使用Docker容器运行生成的代码每个任务一个临时容器任务结束后立即销毁。静态代码分析在执行前使用ast模块解析生成的代码禁止访问敏感模块如os,sys,socket,subprocess、赋值给特定变量或调用危险函数。资源配额限制代码运行的最大内存、CPU 时间和磁盘写入量。7.2 提升循环效率与稳定性结构化记忆引入向量数据库如Chroma,FAISS作为长期记忆存储成功的解决方案和失败案例。在新的循环开始前先进行相似任务检索避免重复劳动。更好的规划器集成更先进的规划算法如 Chain of Thought (CoT) 或 Tree of Thoughts (ToT)让智能体在“思考”阶段能评估多种可能路径。验证多样化不仅依赖智能体自己生成的测试。可以引入预定义的、针对领域任务的验证套件作为循环是否成功的黄金标准。7.3 架构模式扩展本文展示的“生成-测试-修复”只是自循环智能体的一种模式。你可以根据需求设计其他循环架构数据分析流水线观察读取数据- 思考选择分析模型- 行动执行计算/可视化- 反思评估结果显著性- 报告。自动化测试智能体观察需求文档/代码变更- 思考生成测试用例- 行动执行测试- 反思分析测试覆盖率与缺陷- 优化补充测试用例。游戏 NPC 智能体观察游戏世界状态- 思考评估目标、策略- 行动移动、交互- 反思行动后果- 学习更新行为树。7.4 监控与可观测性对于生产系统必须建立完善的监控记录每个循环保存智能体的完整思考过程、行动记录和观察结果。这对于调试和优化至关重要。定义成功指标除了任务是否完成还应度量循环次数、工具调用成本、代码质量等。设置熔断机制当连续失败次数超过阈值或单次任务耗时过长时自动终止流程并告警。构建一个能够编写和优化自身循环架构的 AI 智能体是一个从“自动化”走向“自主化”的深刻实践。它要求开发者不仅熟悉工具链的拼接更要深入理解智能体决策、规划、反思的内在机制。从基础的 ReAct 模式出发逐步集成记忆、规划和验证模块最终通过严谨的安全设计和监控将其产品化这条路径为开发下一代具备持续进化能力的 AI 应用提供了扎实的蓝图。接下来的实践可以尝试用这个框架去解决你所在领域的一个具体、定义清晰的复杂任务观察智能体如何在循环中逐步逼近最优解。
AI智能体循环架构设计：从ReAct到自我迭代的工程实践
在实际 AI 项目开发中我们常常遇到一个核心挑战如何让一个 AI 智能体Agent不仅能够执行单次任务还能自主地、持续地处理一个需要多步骤、有状态、甚至能根据反馈调整策略的复杂流程。这背后的关键就是为智能体设计一个稳定、可靠且高效的“循环架构”。它决定了智能体如何感知、思考、决策和行动并在此过程中不断学习与进化。一个设计良好的循环架构是智能体从“一次性工具”迈向“自主系统”的桥梁。本文将深入探讨如何为 AI 智能体设计和实现一个自洽的循环架构。我们将从最基础的“感知-思考-行动”循环ReAct模式入手逐步引入记忆、工具使用、自我反思等高级组件最终构建一个能够编写、评估并迭代自身代码的智能体系统。这个过程不仅适用于构建自动化助手也是开发复杂 AI 应用如自动化测试、数据分析流水线、游戏 NPC 等的核心方法论。1. 理解智能体循环架构的核心从 ReAct 到自主进化在深入代码之前必须厘清几个核心概念。智能体Agent并非指一个具体的大模型而是一个由大模型驱动、具备感知环境、制定计划、执行动作并从中学习能力的软件系统。其核心在于“循环”Loop即持续运行的处理周期。1.1 基础循环ReActReasoning Acting模式ReAct 是目前最主流、最基础的智能体循环范式。它将一次循环分解为三个清晰阶段观察Observe智能体接收来自环境的输入。这可能是用户的提问、上一个动作的执行结果、系统状态的变化等。思考Reason智能体基于观察结合自身记忆上下文进行推理决定下一步要做什么。这个“思考”过程通常以大模型生成文本包含推理链的形式呈现。行动Act智能体执行思考后决定的动作。动作可以是调用一个工具如搜索、计算、读写文件、生成一段回复或者修改内部状态。完成行动后行动的结果会作为新的“观察”输入到下一个循环中如此周而复始。这个简单的循环是构建更复杂架构的基石。1.2 循环架构的扩展组件一个成熟的智能体循环架构会在基础 ReAct 循环上集成以下关键组件记忆Memory分为短期记忆会话上下文和长期记忆向量数据库等。记忆使智能体能够参考历史信息避免重复工作或陷入逻辑矛盾。工具Tools赋予智能体超越文本生成的能力。工具可以是函数、API、命令行指令等。智能体在“思考”阶段决定使用哪个工具并在“行动”阶段调用它。规划Planning对于复杂任务智能体需要先分解目标制定分步计划Plan然后在每个循环中执行计划的一步或几步。反思Reflection在行动之后智能体评估结果是否达到预期。如果未达到则分析原因并可能调整后续计划或策略。这是实现“自我改进”的关键。我们将要构建的“能编写自己循环架构的智能体”其核心就是利用“工具使用”和“反思”能力让智能体可以生成、执行并评估代码从而迭代优化其自身的运行逻辑。2. 环境准备与核心工具选型在开始构建之前需要搭建开发环境并选择合适的技术栈。我们的目标是构建一个概念验证PoC系统因此选择 Python 生态中成熟且易用的框架。2.1 基础环境与依赖首先确保你的 Python 环境版本在 3.8 以上。然后通过 pip 安装核心依赖。我们将使用langchain和langchain-community作为智能体框架的基础因为它们提供了丰富的工具集成和智能体模板。# 创建并激活虚拟环境推荐 python -m venv ai_agent_env source ai_agent_env/bin/activate # Linux/macOS # ai_agent_env\Scripts\activate # Windows # 安装核心依赖 pip install langchain langchain-community pip install openai # 我们将使用 OpenAI 的模型作为“大脑” pip install python-dotenv # 用于管理环境变量如API密钥2.2 大模型接入与配置智能体的“思考”能力依赖于大语言模型LLM。这里以 OpenAI GPT-4 为例你也可以替换为其他兼容 OpenAI API 的模型或本地模型。获取 OpenAI API 密钥。在项目根目录创建.env文件并添加密钥OPENAI_API_KEYyour_api_key_here在 Python 代码中加载配置并初始化 LLMimport os from dotenv import load_dotenv from langchain_openai import ChatOpenAI load_dotenv() # 加载 .env 文件中的环境变量 # 初始化 LLM temperature 调低使输出更稳定可控 llm ChatOpenAI(modelgpt-4-turbo-preview, temperature0.1, api_keyos.getenv(OPENAI_API_KEY))2.3 关键工具准备代码执行器为了让智能体能够“编写并运行自己的架构”我们必须为其提供一个安全的代码执行工具。警告直接执行 AI 生成的代码存在极高风险我们必须在一个严格受限的沙箱环境中进行。我们将使用langchain的PythonREPLTool它可以在一个独立的子进程中执行 Python 代码并返回结果或错误信息。from langchain_community.tools import PythonREPLTool python_repl PythonREPLTool()这个工具将成为智能体“行动”阶段的关键武器允许它动态生成和测试代码。3. 构建基础循环智能体一个代码编写助手让我们先构建一个具备基础 ReAct 循环、并能使用 Python REPL 工具的智能体。这个智能体可以理解用户关于代码任务的自然语言描述并尝试编写和执行代码来完成任务。3.1 定义工具集与提示词首先为智能体装备工具。目前我们只给它一个最强大的工具Python 解释器。from langchain.agents import initialize_agent, AgentType from langchain.agents import Tool # 将 Python REPL 包装成 LangChain Tool 对象 tools [ Tool( namePython_REPL, funcpython_repl.run, description一个 Python REPL读取-求值-输出循环工具。用于执行 Python 代码。 输入必须是有效的 Python 代码字符串。 使用此工具可以计算表达式、执行算法或测试函数。 注意代码将在当前会话的独立环境中运行但请谨慎执行来自不可信来源的代码。 ) ]接下来设计驱动智能体“思考”的提示词。langchain的ZERO_SHOT_REACT_DESCRIPTION代理类型内置了不错的 ReAct 格式提示但我们也可以进行微调。from langchain.prompts import PromptTemplate # 自定义系统提示明确智能体的角色和能力 agent_prompt PromptTemplate.from_template( 你是一个专业的 Python 程序员 AI 助手。你可以使用 Python REPL 工具来编写和执行代码以解决问题。 请严格遵循以下格式 问题用户提出的问题 思考你需要分析问题并决定是否以及如何使用 Python 工具。解释你的推理过程。 行动你要执行的动作必须是以下格式之一 - 使用工具Action: Python_REPL Action Input: 后接你要执行的 Python 代码。 - 直接回答Final Answer: 后接你的最终答案。 观察工具执行的结果或你对当前情况的分析。 ... (这个思考/行动/观察循环可以重复多次) 最终答案当你认为问题已解决或无法继续时给出最终答案。 开始 问题{input} 思考{agent_scratchpad} )3.2 初始化并运行智能体使用initialize_agent函数将 LLM、工具和提示策略组合起来创建一个可运行的智能体对象。# 初始化智能体 agent initialize_agent( tools, llm, agentAgentType.ZERO_SHOT_REACT_DESCRIPTION, # 使用 ReAct 策略 verboseTrue, # 设置为 True 可以看到智能体详细的思考过程便于调试 handle_parsing_errorsTrue, # 优雅处理解析错误 max_iterations10, # 防止无限循环设置最大迭代次数 early_stopping_methodgenerate, # 达到最大迭代次数时让它生成一个最终答案 ) # 运行智能体尝试一个简单的代码任务 result agent.run(请编写一个函数计算斐波那契数列的第n项并计算第10项的值。) print(result)当verboseTrue时你将在控制台看到类似以下的输出清晰地展示了 ReAct 循环 Entering new AgentExecutor chain... 思考用户需要计算斐波那契数列。我需要编写一个函数来实现它然后调用函数计算第10项。我应该使用 Python_REPL 工具。 行动Action: Python_REPL Action Input: def fibonacci(n): if n 0: return 0 elif n 1: return 1 else: a, b 0, 1 for _ in range(2, n1): a, b b, a b return b print(fibonacci(10)) 观察55 思考函数执行成功并输出了结果55。这与斐波那契数列第10项从第1项为1开始相符。任务完成。 行动Final Answer: 斐波那契数列的第10项是55。我编写的函数可以计算任意正整数n对应的项。至此一个具备基础“观察-思考-行动”循环的代码编写智能体已经构建完成。它能够接收任务、规划解决方案编写函数、执行代码并返回结果。4. 实现自我迭代让智能体评估并修改自己的代码基础智能体只能“执行任务”我们的目标是让它能“改进自身”。关键在于引入“反思”环节。我们将设计一个更高级的循环智能体生成代码 - 执行并测试 - 分析结果 - 如果不符合预期则修改代码 - 再次测试。4.1 设计一个包含测试要求的任务我们给智能体一个更复杂的任务其中包含了“正确性”的隐含要求促使它必须进行测试和验证。complex_task 请编写一个Python函数 process_data(input_list)要求 1. 输入是一个包含数字和字符串的列表例如 [1, a, 2, b, 3]。 2. 函数需要过滤出所有的整数。 3. 将这些整数转换为字符串后用连字符 - 连接起来。 4. 返回连接后的字符串。 例如输入 [1, a, 2, b, 3] 应返回 1-2-3。 请确保你的函数能正确处理边界情况比如空列表、列表中没有整数等。 编写完成后请用几个测试用例验证你的函数并报告验证结果。 4.2 构建高阶监督循环我们将手动实现一个外层的监督循环来模拟智能体的“自我反思”过程。这个循环会要求智能体生成解决方案代码。要求智能体生成测试用例。执行测试并收集结果。如果测试失败将错误信息反馈给智能体要求它修复。重复此过程直到成功或达到最大重试次数。def self_improving_agent_loop(task_description, max_attempts3): 一个让智能体自我改进的循环。 conversation_history [] for attempt in range(max_attempts): print(f\n{*50}) print(f尝试第 {attempt 1} 次) print(f{*50}) # 阶段1生成解决方案和测试 if attempt 0: prompt f 任务{task_description} 请分两步完成 第一步编写符合要求的 process_data 函数。 第二步编写至少三个测试用例来验证你的函数包括正常情况和边界情况。 请将代码和测试用例一起提供。 else: # 后续尝试附加上次错误信息要求修复 prompt f 任务{task_description} 之前的尝试失败了。错误信息如下 {conversation_history[-1][error]} 请分析错误原因修正你的 process_data 函数并重新提供修正后的代码和测试用例。 # 让智能体生成代码 print(f思考中...) response agent.run(prompt) print(f生成的响应\n{response}) # 从响应中提取代码块这里简化处理实际应用需要更稳健的解析 # 假设智能体将代码包裹在 python ... 中 import re code_blocks re.findall(rpython\n(.*?)\n, response, re.DOTALL) if not code_blocks: print(未在响应中找到代码块。) conversation_history.append({response: response, error: 无有效代码}) continue combined_code \n.join(code_blocks) print(f提取的代码\n{combined_code}) # 阶段2执行测试 test_code combined_code \n\n# 执行测试\nprint(测试开始) # 这里可以更精细地捕获测试输出例如通过重定向 sys.stdout try: exec_result python_repl.run(test_code) print(f执行结果\n{exec_result}) # 简单判断是否成功这里可根据实际输出做更复杂的验证 if AssertionError not in exec_result and Error not in exec_result and Traceback not in exec_result: print(f✅ 第 {attempt 1} 次尝试成功) return { success: True, attempts: attempt 1, final_code: combined_code, execution_output: exec_result } else: error_msg 测试执行中出现错误或断言失败。 print(f❌ 测试失败{error_msg}) conversation_history.append({response: response, code: combined_code, error: error_msg f\n输出{exec_result}}) except Exception as e: error_msg str(e) print(f❌ 代码执行异常{error_msg}) conversation_history.append({response: response, code: combined_code, error: f执行异常{error_msg}}) print(f\n⚠️ 经过 {max_attempts} 次尝试仍未成功。) return {success: False, attempts: max_attempts, history: conversation_history} # 运行自我改进循环 final_result self_improving_agent_loop(complex_task, max_attempts3)在这个循环中智能体扮演了“开发者”和“初级测试员”的双重角色。外部的self_improving_agent_loop函数则充当了“项目经理”或“CI/CD管道”的角色负责调度、执行测试并提供反馈。这就是一个具体而微的“自我迭代架构”。5. 架构抽象将循环模式固化为可重用的智能体前面的例子中循环逻辑是硬编码在函数里的。一个更高级的智能体应该能够理解“循环架构”这个概念并动态地应用它。我们可以引导智能体去编写一个实现了特定循环模式如“生成-测试-修复”的框架类。5.1 定义架构描述与生成任务我们向智能体提出一个元任务请编写一个 Python 类该类实现一个智能体循环框架。framework_task 请设计并实现一个名为 SelfImprovingAgent 的 Python 类它封装一个自我改进的循环。 这个类应该有以下核心方法 1. __init__(self, llm, tools): 初始化接收一个大语言模型llm和一个工具列表。 2. run_task(self, task_description): 主循环方法。给定一个任务描述它应 a. 分析任务并生成初始解决方案代码。 b. 生成测试代码来验证解决方案。 c. 在一个安全环境如 Python REPL中执行测试。 d. 如果测试失败分析错误并生成修复方案。 e. 重复步骤 b-d直到成功或达到最大迭代次数。 3. get_final_solution(self): 返回最终成功的代码。 请考虑循环控制最大重试次数、错误处理以及如何将执行结果反馈给LLM进行下一轮思考。 请输出完整的类定义代码并附上一个简单的使用示例。 5.2 执行架构生成与验证将这个元任务交给我们的基础智能体让它生成框架代码。framework_code_response agent.run(framework_task) print(framework_code_response)智能体可能会生成一个包含SelfImprovingAgent类的代码。重要提示由于生成代码的复杂性直接信任并执行存在风险。我们应该在一个全新的、隔离的环境中验证这段代码。# 假设我们从响应中提取出了类定义代码 generated_framework_code # 我们可以创建一个临时文件来保存并导入它或者直接在一个独立的 Python 进程中评估它。 # 这里演示一个简单的验证思路 validation_prompt f 你刚刚生成了一段名为 SelfImprovingAgent 的框架代码。 现在请扮演一个测试者为这个类编写一个完整的单元测试。 测试应该 1. 模拟一个简单的 LLM 和工具例如一个总是返回固定字符串的假 LLM和一个打印信息的假工具。 2. 实例化 SelfImprovingAgent。 3. 调用 run_task 方法传入一个简单的任务例如“编写一个返回两数之和的函数”。 4. 断言最终能获取到一个有效的解决方案。 请输出完整的单元测试代码。 validation_response agent.run(validation_prompt) print(validation_response)通过让智能体为自己生成的框架编写测试我们进一步将“反思”和“验证”机制融入了开发流程。如果生成的框架代码通过了它自己设计的测试在严格沙箱中那将是一个强有力的证明表明智能体确实具备了理解和实现特定循环架构的能力。6. 常见问题与排查指南在构建和运行此类自循环智能体时你会遇到一些典型问题。6.1 智能体陷入无效循环或重复动作问题现象可能原因检查与解决方式智能体反复执行相同工具调用无法推进。1.提示词不清晰未明确要求智能体在得到结果后进入下一步。2.工具描述不准确工具功能描述模糊导致智能体误用。3.模型“幻觉”模型陷入错误的推理路径。1.强化提示词在提示中明确写出循环结束条件如“当你得到最终答案时必须使用Final Answer:开头”。2.简化工具每个工具功能尽量单一描述精确。3.设置迭代限制使用max_iterations参数强制退出循环。4.启用详细日志通过verboseTrue观察思考过程定位卡点。6.2 代码生成与执行错误问题现象可能原因检查与解决方式生成的代码无法执行语法错误或运行时错误。1.模型知识截止模型可能不了解最新库的语法。2.上下文不足生成的代码片段缺少必要的导入或依赖。3.沙箱环境差异沙箱中缺少某些包或权限。1.提供上下文在任务描述中指定 Python 版本和允许使用的标准库。2.分步生成先让智能体生成思路或伪代码再生成具体代码。3.增强错误反馈将完整的错误追踪Traceback信息反馈给智能体让其修正。4.限制代码范围明确禁止使用os.system,subprocess,__import__等危险操作。6.3 智能体无法理解“自我改进”的元任务问题现象可能原因检查与解决方式智能体生成的“框架”只是一个普通函数没有实现循环逻辑。1.任务描述过于抽象智能体未能理解“循环”、“状态”、“迭代”等元概念。2.缺乏示例智能体没有见过类似的设计模式。1.拆解任务将“编写框架”拆解为“先编写一个循环函数”“再将其封装为类”。2.提供示例在提示词中给出一个极其简单的类似循环的代码片段作为参考。3.使用更强大的模型对于复杂的元认知任务GPT-4 等更高级模型通常比 GPT-3.5 表现更好。6.4 安全与资源风险问题风险后果缓解措施任意代码执行智能体生成恶意代码删除文件、访问网络、消耗资源。1.使用严格沙箱如 Docker 容器、资源限制ulimit、网络隔离。2.代码审查在最终执行前加入一层简单的关键字过滤或AST抽象语法树分析拦截危险操作。3.最小权限原则运行智能体的进程应具有最低必要权限。无限循环智能体生成的代码或循环逻辑导致死循环耗尽 CPU。1.设置超时对每次工具调用如 REPL 执行设置时间限制。2.外部看门狗主进程监控子进程的执行时间超时即终止。依赖混淆智能体代码尝试安装或导入不存在的包。1.白名单机制预先定义允许导入的模块列表。2.虚拟环境在干净的、仅包含必要依赖的虚拟环境中运行。7. 生产环境最佳实践与扩展方向将实验性的自循环智能体推向生产环境需要额外的严谨性和架构设计。7.1 安全与隔离强化深度沙箱化不要仅依赖PythonREPLTool。考虑使用Docker容器运行生成的代码每个任务一个临时容器任务结束后立即销毁。静态代码分析在执行前使用ast模块解析生成的代码禁止访问敏感模块如os,sys,socket,subprocess、赋值给特定变量或调用危险函数。资源配额限制代码运行的最大内存、CPU 时间和磁盘写入量。7.2 提升循环效率与稳定性结构化记忆引入向量数据库如Chroma,FAISS作为长期记忆存储成功的解决方案和失败案例。在新的循环开始前先进行相似任务检索避免重复劳动。更好的规划器集成更先进的规划算法如 Chain of Thought (CoT) 或 Tree of Thoughts (ToT)让智能体在“思考”阶段能评估多种可能路径。验证多样化不仅依赖智能体自己生成的测试。可以引入预定义的、针对领域任务的验证套件作为循环是否成功的黄金标准。7.3 架构模式扩展本文展示的“生成-测试-修复”只是自循环智能体的一种模式。你可以根据需求设计其他循环架构数据分析流水线观察读取数据- 思考选择分析模型- 行动执行计算/可视化- 反思评估结果显著性- 报告。自动化测试智能体观察需求文档/代码变更- 思考生成测试用例- 行动执行测试- 反思分析测试覆盖率与缺陷- 优化补充测试用例。游戏 NPC 智能体观察游戏世界状态- 思考评估目标、策略- 行动移动、交互- 反思行动后果- 学习更新行为树。7.4 监控与可观测性对于生产系统必须建立完善的监控记录每个循环保存智能体的完整思考过程、行动记录和观察结果。这对于调试和优化至关重要。定义成功指标除了任务是否完成还应度量循环次数、工具调用成本、代码质量等。设置熔断机制当连续失败次数超过阈值或单次任务耗时过长时自动终止流程并告警。构建一个能够编写和优化自身循环架构的 AI 智能体是一个从“自动化”走向“自主化”的深刻实践。它要求开发者不仅熟悉工具链的拼接更要深入理解智能体决策、规划、反思的内在机制。从基础的 ReAct 模式出发逐步集成记忆、规划和验证模块最终通过严谨的安全设计和监控将其产品化这条路径为开发下一代具备持续进化能力的 AI 应用提供了扎实的蓝图。接下来的实践可以尝试用这个框架去解决你所在领域的一个具体、定义清晰的复杂任务观察智能体如何在循环中逐步逼近最优解。
