最近AI圈里有两条消息放在一起看很有意思一条是谷歌传奇工程师Jeff Dean宣布离职创业新方向押注在“AI自动研究”另一条是清华系团队开源了一款35B参数规模的AI4AI模型。一个是顶级工程大佬的选择一个是来自开源社区的真实模型两者都指向同一个趋势——AI正在从“被研究的工具”慢慢变成“研究AI自身的主体”。对于普通开发者来说“AI自动研究”听起来确实有点远但开源35B模型的出现把这条路的门槛降低了很多。你可以在自己的服务器上部署一个35B模型用它来读论文、设计实验、生成代码、分析训练结果甚至让多个Agent协作完成一个完整的科研流程。这篇文章我会围绕AI4AI这个方向展开先理清概念再看Jeff Dean离职创业释放的信号然后以清华系团队开源的35B模型为例给出从环境准备、模型部署、接口调用到Agent工作流搭建的完整实战方案。文末会整理高频报错的排查思路和工程化建议希望能给正在关注AI4AI或者准备动手实践的朋友一些参考。1. AI4AI让AI学会“做研究”1.1 AI自动研究是什么AI4AI的全称是“AI for AI Research”通俗理解就是用AI来自动化AI研究本身。过去我们训练一个模型、跑一组实验、分析一份结果都需要人工参与而AI4AI的目标是让AI系统能够自己完成这些环节。一个典型的AI4AI工作流包括自动阅读论文提取核心方法、数据集和实验结论。根据研究目标自动设计实验方案。自动生成训练代码、数据处理脚本和评估脚本。自动运行实验并分析损失曲线、指标变化和失败原因。根据已有结果自动调整超参数做下一轮实验。最终生成研究报告或论文初稿。这里面用到的核心技术并不神秘主要就是大语言模型LLM、智能体Agent、检索增强生成RAG和自动化执行工具的组合。区别在于AI4AI把“写文章”“写代码”这类通用能力聚焦到了“科研流程”这个具体场景上。1.2 AI4AI与传统AI开发的区别很多人会把AI4AI和普通的大模型应用混在一起。为了便于理解这里做一个对比维度传统AI开发AI4AI核心目标解决具体业务问题自动化科研工作流主要执行者人类工程师AI Agent 人类监督核心能力训练、微调、推理规划、生成、验证、反思典型任务文本分类、推荐、OCR实验设计、论文分析、超参搜索交付物模型、API、业务系统实验报告、研究结论、可复现代码失败处理方式人工排查日志Agent自主反思并修正传统AI开发解决的是“用模型完成一个任务”AI4AI解决的是“用AI完成整个研究闭环”。后者更像是在扮演“AI科学家助手”的角色。1.3 为什么AI4AI在现在爆发AI4AI的概念几年前就有但一直没有大规模落地核心原因是基础能力没跟上。现在情况变了大模型能生成高质量代码和论文级文本这是AI做科研的基础。Agent框架成熟了模型可以调用工具、读取文件、执行命令不再只是“对话机器人”。开源模型性能足够强35B规模的模型已经能承担不少科研辅助工作。科研场景本身有强烈需求论文数量激增、实验复现成本高研究者急需自动化工具。可以这样理解AI4AI不是突然出现的“新概念”而是大模型能力积累到一定程度后在科研场景下的自然延伸。2. Jeff Dean离职创业顶级工程师押注自动科研2.1 事件回顾Jeff Dean是谷歌大脑、TensorFlow、MapReduce等关键项目的核心人物在分布式系统和机器学习领域有非常大的影响力。据公开报道他从谷歌离职后成立了一家新公司方向聚焦在“AI自动研究”相关领域。这条消息在AI圈引发的讨论很多。一方面是因为Jeff Dean本人的技术地位另一方面是因为“AI自动研究”一直被认为是AGI走向实用的重要路径之一。选择从这个方向创业说明他对这个赛道的前景有明确的判断。2.2 为什么明星团队押注AI4AIJeff Dean选择AI自动研究核心逻辑其实很清楚AI研究本身正在变成一项“可被自动化”的工作。现在的AI研究流程中有大量工作是可以标准化和程序化的。读论文、对比方法、写训练脚本、跑实验、调超参、分析结果这些环节消耗了研究者大量时间但很多并不需要真正的“人类创造力”。如果模型能够把这些环节自动化AI领域的迭代速度会大幅提升。换句话说AI4AI赚钱的路径不是“帮用户写一个模型”而是“帮用户把整个研究周期从几个月缩短到几天”。2.3 对普通开发者的启示这个事件对我们普通开发者的启示主要有三点AI4AI不是大公司专属开源模型让它成为人人可参与的工程方向。35B量级的开源模型已经具备实用性不需要等70B甚至更大模型才能跑AI4AI场景。从“AI写代码”到“AI做研究”整个行业的关注点正在从单点能力走向完整工作流。换句话说即使你不打算创业把AI4AI思路用在自己的实验管理、技术调研、项目文档生成上也能明显提升效率。3. 清华系团队开源35B AI4AI模型低门槛的第一步3.1 开源背景据公开信息清华系团队近期开源了一款35B参数规模的AI4AI大模型定位是辅助科研自动化场景包括论文理解、实验设计、代码生成、结果分析等任务。具体版本和使用方式以官方发布为准但可以确定的方向是它会把“AI做研究”的能力开放出来而不是只停留在论文里。这个动作的意义在于此前AI自动研究更多是顶级实验室的“内部工具”普通开发者很难接触。开源35B模型之后任何人只要有合适的硬件环境就可以自己部署和实测。3.2 35B模型是什么定位35B是指模型参数规模约为350亿。这个规模在大模型中属于“中量级”比7B、14B模型能力强很多能胜任复杂的代码生成和长文本理解。比70B、百亿级模型部署成本低显存占用更友好。如果使用量化或MoE混合专家架构甚至可以在单卡或双卡环境运行。对于AI4AI场景来说35B是一个性价比比较高的选择。科研任务通常需要较长的上下文、较强的逻辑推理和代码能力这些恰好是35B模型比小模型有明显优势的地方。3.3 为什么要用开源模型而不是闭源API在AI4AI这种偏向“研究与实验”的场景中开源模型的价值非常突出数据安全研究数据往往涉密或不能外传私有化部署能保证不出本地。成本可控频繁调用外部API进行批量实验费用会非常高开源模型部署后边际成本低。可定制性开源模型支持继续微调、LoRA适配、模型融合闭源API很难做深层次定制。版本稳定外部API可能随时升级或废弃开源模型可以锁定版本复现结果。当然闭源API也有它的优势比如零部署成本、开箱即用。实际项目中可以根据数据敏感度和预算做混合方案。4. 环境准备把35B模型跑起来4.1 硬件要求与显存估算这是很多开发者关心的第一个问题。以35B模型为例不同精度下的显存需求可以这样估算精度权重内存约推理方案FP16 / BF16约70GB适合2张40GB或4张24GB显卡INT8量化约35GB单张48GB或双卡混合INT4量化约17.5GB单卡24GB可尝试MoE架构如A3B类视active参数而定显存需求更小但路由计算有额外开销需要注意上面的数字只是“权重”的占用运行时还需要额外的KV Cache显存以及激活值临时空间。上下文越长、并发数越大KV Cache占用越高。一个比较保守的建议是在部署前先准备至少1.5倍权重大小的显存作为兜底。比如FP16权重约70GB那么整机总显存最好在100GB以上。4.2 推理框架选型目前主流的开源模型部署方案有几种适用场景不同vLLM高吞吐、高并发支持Continuous Batching和Prefix Caching适合生产环境和API服务。Transformers Accelerate灵活、好调试适合研究和原型验证但并发能力较弱。llama.cpp适合CPU环境或边缘设备量化支持好但功能相对基础。对AI4AI研究助手来说需要频繁调用模型而且可能要同时处理多个Agent的请求所以我更推荐vLLM。它提供OpenAI兼容接口社区生态也最成熟。4.3 安装与启动服务首先安装vLLMpip install vllm然后用vLLM启动模型服务。假设模型权重在/data/models/ai4ai-35b目录下vllm serve /data/models/ai4ai-35b \ --tensor-parallel-size 2 \ --max-model-len 8192 \ --served-model-name AI4AI-35B参数说明--tensor-parallel-size 2使用2张显卡做张量并行推理。显卡数量需要根据模型大小调整。--max-model-len 8192限制最大上下文长度为8192个token避免显存溢出。--served-model-name设置API访问时的模型名称后续客户端要用这个名字来请求。启动成功后终端会输出类似“Uvicorn running on http://0.0.0.0:8000”的日志这时就可以通过http://localhost:8000/v1访问模型了。如果你的硬件配置比较低或者只是想先跑通流程可以改用Transformers加载from transformers import AutoModelForCausalLM, AutoTokenizer model_name /data/models/ai4ai-35b tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, device_mapauto, torch_dtypeauto ) inputs tokenizer(请设计一个图像分类实验。, return_tensorspt) outputs model.generate(**inputs, max_new_tokens512) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))这段代码在大模型环境中也能运行但并发和性能不如vLLM。5. 实战案例从0搭建AI4AI研究助手5.1 工作流设计一个完整的AI4AI研究助手至少要包含四个模块任务规划器把“研究目标”拆解成可执行的任务步骤。实验执行器根据步骤生成代码、命令并执行实验。检索器从论文库或知识库中检索相关文献给模型提供背景信息。反思模块检查实验结果指出问题提出下一轮改进建议。下面是一个简化的工作流示意用户输入研究问题 ↓ [检索器] 从论文库检索相关文献 ↓ [任务规划器] 把问题拆解为3~5个步骤 ↓ [实验执行器] 逐个步骤生成代码并执行 ↓ [反思模块] 分析结果提出改进建议 ↓ 输出研究报告这里的关键不是把每一步做得非常复杂而是让模型具备“计划→执行→检查→修正”的闭环能力。5.2 使用OpenAI兼容接口调用模型vLLM启动后默认提供了OpenAI兼容的API接口所以我们可以直接用openai库连接本地的35B模型。先安装依赖pip install openai然后编写客户端代码# 文件路径ai4ai_assistant/client.py from openai import OpenAI # vLLM 启动后默认提供 OpenAI 兼容接口 client OpenAI( base_urlhttp://localhost:8000/v1, api_keyEMPTY, ) def chat(system: str, user: str, temperature: float 0.3) - str: resp client.chat.completions.create( modelAI4AI-35B, messages[ {role: system, content: system}, {role: user, content: user}, ], temperaturetemperature, max_tokens2048, ) return resp.choices[0].message.content if __name__ __main__: result chat( system你是一名严谨的AI研究助理擅长设计机器学习和深度学习实验。, user我希望对比GPT架构和BERT架构在文本分类任务上的表现请给出实验设计思路。, ) print(result)运行这段代码后模型会返回一个实验设计方案。你不需要自己构造复杂的curl请求直接调用Python接口即可。5.3 编写Agent核心代码接下来实现一个简单的Agent类包含规划、执行、反思三个核心方法。# 文件路径ai4ai_assistant/agent.py import json from dataclasses import dataclass, field from typing import List, Optional from client import chat dataclass class Task: goal: str plan: List[str] field(default_factorylist) result: Optional[str] None feedback: Optional[str] None class ResearchAgent: def __init__(self): self.llm chat def plan(self, goal: str) - List[str]: 将研究目标拆解为可执行的步骤输出JSON数组 prompt ( 请把下面的科研任务拆解为3到5个可执行的步骤 每个步骤用一句话描述只输出JSON数组格式\n goal ) raw self.llm(你是任务规划器。, prompt, temperature0.2) try: steps json.loads(raw) return [str(s).strip() for s in steps] except json.JSONDecodeError: # 如果模型没有严格输出JSON就按行切分兜底 return [line.strip(- ).strip() for line in raw.splitlines() if line.strip()] def execute_step(self, step: str) - str: 执行单个步骤让模型生成代码或分析文本 prompt ( 请完成以下步骤并输出可直接使用的Python代码或实验结果分析。 如果是代码请给出完整可运行版本\n step ) return self.llm(你是实验执行器。, prompt, temperature0.3) def reflect(self, task: Task) - str: 检查已有结果给出改进建议 prompt ( 请检查下面的实验过程指出潜在问题并给出改进建议。 重点关注数据泄漏、超参设置、评估指标是否合理\n f计划{task.plan}\n f结果{task.result} ) return self.llm(你是科研质量控制员。, prompt, temperature0.2) def run(self, goal: str) - Task: task Task(goalgoal) print([1/3] 正在规划任务...) task.plan self.plan(goal) print([2/3] 正在逐步骤执行...) for step in task.plan: print(f 执行{step}) task.result self.execute_step(step) print([3/3] 正在反思检查...) task.feedback self.reflect(task) print(反思反馈, task.feedback) report ( f研究目标{task.goal}\n f执行计划{task.plan}\n f实验结果{task.result}\n f改进建议{task.feedback} ) return task这个Agent类做的事情很直观先把大目标拆成小步骤然后逐个步骤生成代码或分析最后让模型以“质量控制员”的身份检查结果。整个过程不需要人工干预你只需要提供研究目标。5.4 加入RAG检索能力光靠模型的固有知识研究助手很难写出高质量的科研方案尤其在具体论文场景中。我们可以在前面加入RAG检索环节把相关的论文段落拼接到Prompt里。下面以论文PDF为例使用LangChain生态组件完成知识库构建# 文件路径ai4ai_assistant/rag.py from langchain_community.document_loaders import PyPDFLoader from langchain_text_splitters import RecursiveCharacterTextSplitter from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma # 1. 加载论文 loader PyPDFLoader(arxiv_paper.pdf) docs loader.load() # 2. 文本切分chunk_size 控制切块大小 splitter RecursiveCharacterTextSplitter(chunk_size800, chunk_overlap100) chunks splitter.split_documents(docs) # 3. 向量化这里使用开源 embedding 模型 embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-m3) # 4. 构建向量库并持久化 vectorstore Chroma.from_documents( chunks, embeddings, persist_directory./paper_db ) vectorstore.persist() print(f已入库 {len(chunks)} 个文本片段)检索代码如下# 文件路径ai4ai_assistant/search.py from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import Chroma embeddings HuggingFaceEmbeddings(model_nameBAAI/bge-m3) def search_papers(query: str, k: int 5) - list: vectorstore Chroma(persist_directory./paper_db, embedding_functionembeddings) hits vectorstore.similarity_search(query, kk) return [hit.page_content for hit in hits] if __name__ __main__: results search_papers(transformer encoder vs decoder 文本分类) for i, r in enumerate(results, 1): print(f--- 第{i}条 ---) print(r[:300])在真实AI4AI工作流中检索结果可以作为上下文注入到5.3节的Agent里让模型在生成实验方案时参考相关论文内容而不是凭空发挥。5.5 运行与验证把所有模块组合起来运行一次完整流程# 文件路径main.py from agent import ResearchAgent from search import search_papers goal 设计一个实验验证LoRA微调在中文NER任务上的效果并与全量微调对比。 # 先检索相关论文给Agent提供背景信息 contexts search_papers(goal, k3) background \n.join(contexts) # 拼接背景信息后交给Agent enhanced_goal f参考以下论文摘要\n{background}\n\n目标{goal} agent ResearchAgent() task agent.run(enhanced_goal) print(\n最终研究报告) print(task.result)运行后你会看到Agent依次输出规划步骤、每一步的执行结果和反思建议。这就是一个最简版AI4AI系统。你可以把它扩展为自动运行实验脚本、自动上传结果、自动生成论文Figure的完整工具链。6. 高频问题与排查思路6.1 为什么35B MoE模型第一token延迟偏高很多人在部署35B规模的MoE模型后发现TTFTTime To First Token首令牌延迟明显偏高。原因主要是模型的首token生成前需要先对整个用户Prompt做prefill计算这本身就是计算密集的在MoE架构中还需要计算所有专家的路由分数挑选top-k专家后做前向计算多了一步路由开销如果专家被切分到多张卡上跨卡通信也会增加延迟。排查思路问题现象常见原因解决思路TTFT长Prompt太长prefill耗时长控制prompt长度过长文档先做摘要TTFT长开启了过多并发请求降低并发数或增加显卡数量TTFT长没有前缀缓存开启vLLM的Prefix Caching功能TTFT长MoE路由开销跨卡通信使用更小上下文、减少prompt中冗余内容6.2 昇腾910B-A2上无法启动embedding和reranker模型在这个问题上需要分角色来看vLLM主要承载LLM的生成推理而Embedding向量模型如bge系列和Reranker重排序模型通常不是vLLM的默认服务对象。常见有两种情况vLLM版本与昇腾CANN版本不匹配导致推理算子不支持。直接把Embedding/Reranker模型当作“生成模型”加载没有走专用接口。解决思路确认是否使用了适配昇腾的vLLM版本例如vllm-ascend并核对CANN、PyTorch版本兼容性。将Embedding和Reranker模型单独部署使用sentence-transformers或Transformers加载而不是走vLLM生成接口。如果实验阶段条件有限可以先用CPU跑Embedding模型Reranker模型在GPU上用Transformers加载。一个兼容性比较好的做法是生成模型用vLLMEmbedding模型用sentence-transformersReranker模型用Transformers三者的服务互相独立通过HTTP或内存队列通信。6.3 部署时显存不足显存不足通常表现为OOMOut of Memory报错。解决顺序建议降低--max-model-len减少KV Cache占用。开启量化比如--quantization awq或--dtype float16。增加--tensor-parallel-size用多卡分担显存。如果仍然不足考虑换更小的模型或改用MoE架构的35B模型。部署前用nvidia-smi确认显卡状态避免其他进程占用显存。6.4 Agent输出不稳定或JSON解析失败研究助手规划的步骤需要JSON格式但大模型偶尔会输出带Markdown标记的JSON导致解析失败。解决办法在System Prompt中强调“只输出JSON不要加注释和Markdown代码块标记”。调用接口时把temperature调低比如0.1~0.3。代码中增加兜底逻辑先尝试json.loads失败后用正则提取JSON数组部分。对需要结构化的输出可以考虑使用模型的response_format{type: json_object}能力如果支持。7. 开源项目工程化许可证、评测与安全7.1 开源许可证怎么选如果你想把自己的AI4AI项目开源许可证选择要谨慎。Apache-2.0宽松允许商用需保留版权声明适合大多数工具类项目。MIT更宽松适合极简项目。GPL-3.0要求衍生代码也开源适合想推动社区共享的项目。模型权重往往有单独的License例如很多国产大模型采用自定义社区许可证商用前要仔细阅读条款。一个比较稳妥的思路是代码层用Apache-2.0模型权重单独标注其原始许可证并在README中说明两者不混同。7.2 模型评测与模型融合AI4AI项目上线前建议做任务级评测而不是只看MMLU这类通用指标。可以搭建一个面向论文理解、代码生成、实验分析的小型评测集人工打分评估结果质量。另外模型微调和融合也值得关注。模型融合Model Merging通过权重平均、Fisher加权合并、LoRA合并等方式可以将多个模型的优势结合起来获得比单一模型更强的效果且不用重新训练。但要注意融合前确认基座模型结构一致。融合后要做充分评测防止能力倒退。融合权重不改变模型License仍需遵守原始模型条款。7.3 安全与合规边界AI4AI做的事情是自动化科研辅助不是完全替代人类科研。工程落地时要注意研究数据来源要合规不能把未授权数据灌入模型。生成内容只作为助手建议最终实验结论需要人工复核。涉及真实数据库操作、训练任务执行时必须先在小规模测试环境验证并在生产环境保留备份与回滚方案。严格遵循最小权限原则防止Agent被恶意Prompt劫持后执行危险命令。对Agent可调用的系统工具做白名单限制不开放任意Shell权限。7.4 生产环境的部署建议如果AI4AI系统要长期稳定运行可以按下面的思路优化使用Docker封装模型服务和应用服务统一版本。用vLLM的--api-key参数限制API访问避免内网裸奔。把Embedding服务、Reranker服务、Agent服务拆开独立部署方便扩容。对模型输出做日志记录便于回溯实验过程。定期把模型升级到新版本但升级前必须跑回归评测集。8. 总结与学习路线这篇文章从一个行业事件出发把AI4AI的概念、价值、开源模型部署和实战代码串了起来。目前你已经掌握了这些关键能力了解AI4AI与传统AI开发的差异。会用vLLM部署35B级别开源模型。会用OpenAI兼容接口调用本地模型。会搭建“规划→执行→反思”的Agent流程。会给Agent加入RAG论文检索能力。能排查TTFT偏高、昇腾环境适配、显存不足、JSON解析失败等常见问题。下一步可以继续深入的方向包括学习LangGraph或AutoGen这类更完整的Agent框架、做Embedding和Reranker的调优评测、尝试对开源模型做LoRA微调以适配特定科研领域、探索多Agent协作完成更复杂的研究任务。如果这篇文章对你有帮助可以收藏备用。等你自己把35B模型跑起来再试着让它帮你做一次“论文调研→实验设计→代码生成”的完整闭环你会对AI4AI有更直观的感受。