1. 从一场行业跟踪说起国内AI大会到底在卷什么最近后台有不少朋友问我国内这些AI大会一个接一个华为开发者大会、WAIC世界人工智能大会到底值不值得花时间盯我的回答一直很直接如果你在做大模型应用、搞本地部署、或者带团队选技术路线那这些大会就是一年里信息密度最高的几个窗口错过一次可能就要多走两三个月的弯路。我自己从2023年开始系统跟踪国内几场主要的AI大会从最早的“PPT画饼”阶段到2024年大量Demo落地再到2025年明显转向“工程化、成本、Agent”这些实打实的话题这个变化轨迹非常清晰。这篇内容就是把我跟踪下来看到的亮点、背后的技术逻辑、以及这些发布对一线开发者到底意味着什么完整拆一遍。不管你是刚接触大模型想找学习路线的新手还是已经在做微调、部署、Agent开发的从业者都能从里面找到对自己有用的东西。核心关键词先摆出来AI、大模型、WAIC、盘古大模型、华为开发者大会。这几个词基本构成了国内AI大会的主线下面我会围绕它们展开同时把热搜里那些“大模型本地部署”“大模型微调”“AI Agent”“多模态大模型”这些一线真正关心的点串进去讲。先说结论性的判断国内AI大会的亮点已经从“模型参数多大、榜单多高”转向了“能不能跑起来、跑起来多贵、能不能接进业务”。这个转向对开发者是好事因为意味着工具链在成熟踩坑的人在变少但同时也意味着竞争从“有没有”变成了“好不好用”。2. 国内重点AI大会的格局与主线拆解2.1 为什么是这几场大会值得盯国内AI相关的会议一年没有一百也有八十但真正能称得上“行业风向标”的其实就那么几场。我个人的跟踪清单里排在最前面的是华为开发者大会HDC和WAIC世界人工智能大会其次是各家云厂商的年度技术峰会。原因很简单这两场大会背后站着的是能同时提供算力、框架、模型、工具链的玩家。华为有昇腾算力加盘古大模型加MindSpore框架这一整套WAIC则是把国内外主要玩家都聚到一起能看到横向对比。其他很多会议要么偏学术、要么偏商业展示对一线开发的直接参考价值没那么集中。我跟踪这几场大会有个习惯不看主论坛的宏大叙事专挑分论坛和开发者专场。主论坛讲的是战略分论坛讲的才是“这个东西怎么用”。比如盘古大模型的行业落地主论坛只会说“赋能千行百业”但分论坛里会具体讲某个制造场景下模型怎么微调、数据怎么处理、推理延迟怎么压到可接受范围这些才是我要抄的作业。2.2 从“秀肌肉”到“秀工具链”的转变2023年那会儿大会上的关键词是“千亿参数”“超越GPT”“榜单第一”。到了2024年话术明显变了开始讲“推理成本下降”“端侧部署”“开箱即用的行业套件”。2025年这个趋势更明显几乎每场大会都有专门的Agent和工具链专场。这个转变背后是实打实的工程压力。模型再大如果推理一次要几块钱没有业务方用得起。所以大会亮点从模型本身转移到了围绕模型的整套工程能力上模型压缩、量化、蒸馏、推理加速、Agent编排、多模态融合。这些词在热搜里也高频出现比如“大模型本地部署配置”“llamacpp部署大模型”“airllm运行大模型”说明一线开发者最关心的就是怎么把模型塞进自己的环境里跑起来。我印象很深的一次是某场大会的分论坛上一位讲师直接现场演示了在消费级显卡上跑7B模型的全过程从环境配置到量化到推理全程不到二十分钟。这种“可复现”的演示比任何参数对比都有说服力。这也是我判断一场大会值不值得看的标准有没有能让我回去照着做的实操内容。2.3 盘古大模型与华为开发者大会的定位差异很多人把盘古大模型和华为开发者大会混为一谈其实两者定位不一样。盘古是模型体系是“货”华为开发者大会是发布和赋能的场子是“渠道”。盘古大模型下面又分了好几个层级从NLP到多模态到科学计算都有覆盖而开发者大会则是把这些能力打包成工具、套件、API推给开发者。我关注盘古主要看它在行业场景里的落地方式。它不像一些通用大模型那样追求“什么都能聊”而是强调在特定行业里做深。比如在气象、制造、医药这些领域盘古有专门的行业版本。这个路线对做垂直应用的团队很有参考价值因为通用模型在专业场景里经常“一本正经地胡说”而行业模型通过领域数据微调能把这个问题的概率压下来。华为开发者大会我关注的是工具链的更新。比如MindSpore的版本迭代、昇腾推理引擎的优化、模型转换工具的支持范围。这些东西看起来不性感但直接决定你手里的模型能不能顺利跑在国产算力上。热搜里“大模型部署”“大模型微调实战”这些词能火本质上就是大家在工具链上踩了太多坑急需官方给出更顺滑的方案。3. 大会亮点背后的核心技术点深挖3.1 大模型从训练到推理的重心转移这几年大会内容最大的变化就是训练相关的话题在减少推理和部署的话题在暴增。原因不复杂训练一个大模型动辄几千万甚至上亿的成本不是一般团队玩得起的但推理是每个用模型的团队都要面对的。推理这块的核心技术点我梳理下来主要是三个方向。第一是量化把FP16的权重压到INT8甚至INT4显存占用直接砍半甚至更多代价是精度会有一定损失但很多场景下这个损失可以接受。第二是推理框架优化比如vLLM的PagedAttention、llama.cpp的GGUF格式都是通过内存管理和计算调度来提升吞吐。第三是模型蒸馏用大模型教小模型让小模型在特定任务上逼近大模型的效果。热搜里“rx6750gre训练大模型”“gpu微调大模型”这些词反映的就是大家手里的硬件参差不齐想在有限算力下做事情。我的经验是如果你只有一张消费级显卡别想着从头训练老老实实做微调或者直接用量化后的模型做推理性价比最高。微调的话LoRA和QLoRA是绕不开的方案前者冻结原权重只训练低秩矩阵后者在此基础上再加量化能把显存需求压到很低。3.2 多模态与Agent大会上的两个高频词多模态大模型和AI Agent是这两年大会上出现频率最高的两个词。多模态解决的是“模型只能处理文字”的局限让它能看图、听声音、甚至理解视频。Agent解决的是“模型只能被动回答”的局限让它能主动调用工具、拆解任务、多步执行。这两个方向在大会上的展示方式不太一样。多模态更多是Demo形式比如上传一张图让模型描述内容、识别缺陷、生成报告。Agent则更多是流程演示比如给一个目标模型自己规划步骤、调用搜索和计算工具、最后输出结果。我实际做下来多模态的落地比Agent要成熟一些因为多模态的任务边界相对清晰而Agent的难点在于任务拆解的稳定性和工具调用的可靠性。热搜里“ai agent”“基于什么技术栈封装ai交互逻辑”“通过sse流式输出实现大模型回答实时渲染”这些词说明大家已经在动手做Agent的前端交互了。SSE流式输出这个点很关键因为Agent执行多步任务时如果等全部完成再返回用户会以为卡死了流式输出能让用户实时看到进度。3.3 本地部署与微调一线开发者最关心的落地环节大会讲得再热闹最后都要落到“我能不能在自己机器上跑起来”。本地部署和微调就是这道坎。热搜里“ollama本地部署大模型哪个模型最佳”“llamacpp部署大模型”“大模型本地部署配置”“android app集成ai大模型gguf”这些词全是围绕这个环节的。本地部署的核心矛盾是模型大小和硬件资源。7B的模型FP16大概需要14G显存INT4量化后只要4G左右一张普通显卡就能跑。13B、70B依次往上加。所以选模型的第一件事是看自己有什么卡然后反推能跑多大的模型。部署工具的选择上Ollama适合快速上手一条命令就能拉模型跑起来但定制化能力弱。llama.cpp更底层支持GGUF格式能在CPU上跑适合资源紧张或者要嵌入到App里的场景。vLLM适合服务端高并发吞吐量做得好。我一般建议新手从Ollama开始跑通了再往下研究llama.cpp和vLLM。微调这块热搜里“qwen2.5-7b微调行业大模型”“环境配置模型微调模型部署效果展示详细教程”“大模型微调实战”这些词说明需求很旺。我的经验是微调第一步不是选模型是整理数据。数据质量决定微调效果的上限格式统一、标注准确、覆盖目标场景这三点做到了用LoRA微调7B模型就能有不错的效果。数据没整理好用再大的模型也是白搭。4. 从大会亮点到落地实操完整流程拆解4.1 环境配置别一上来就装CUDA很多人拿到显卡第一件事就是装CUDA然后被版本兼容问题折磨半天。我的建议是先明确你要用什么框架再倒推装什么版本的驱动和CUDA。以PyTorch为例你去官网看它支持的CUDA版本然后装对应版本的驱动。如果用的是Ollama或者llama.cpp这种很多时候根本不需要单独装CUDA它们自带推理后端。热搜里“环境配置模型微调模型部署效果展示详细教程”能火就是因为环境配置这一步劝退了太多人。我自己的环境配置流程是这样的先装显卡驱动用nvidia-smi确认驱动版本和CUDA版本然后装conda或者venv建虚拟环境再根据框架要求装对应的CUDA Toolkit和cuDNN最后装PyTorch或者其他框架。每一步都验证一下别一口气装完再排查那样出问题很难定位。提示如果你只是想做推理不做训练优先考虑用Ollama或llama.cpp能省掉大量环境配置的麻烦。训练和微调才需要完整的CUDA环境。4.2 模型选择7B、13B还是70B模型大小的选择本质是效果和资源的权衡。我整理了一个简单的对照表基于常见硬件配置模型规模FP16显存需求INT4显存需求推荐硬件适用场景7B约14GB约4GBRTX 3060 12G及以上个人开发、简单问答、文本分类13B约26GB约8GBRTX 3090/4090复杂问答、代码生成、中等任务70B约140GB约40GB多卡A100/H100高精度任务、企业级应用这张表是我实际跑下来的经验值会有浮动但大方向没问题。新手我一般推荐从Qwen2.5-7B或者Llama3-8B开始这两个模型社区支持好微调资料多量化版本也齐全。热搜里“qwen2.5-7b微调行业大模型”能成为热词就是因为这个尺寸的模型在效果和资源之间平衡得最好。选模型还要看许可证。有些模型商用需要授权有些完全开源。如果你做的是商业项目这一步不能省。另外看社区活跃度遇到问题能不能搜到解决方案很大程度取决于用这个模型的人多不多。4.3 微调实操LoRA和QLoRA怎么选微调这块我踩过的坑最多这里详细说一下。LoRA的原理是在原模型的权重旁边加一对低秩矩阵训练时只更新这对矩阵原权重冻结。这样做的好处是显存需求大幅下降训练速度也快。QLoRA在此基础上把原模型量化到4bit进一步降低显存代价是训练速度会慢一些。选择上如果你显存够比如24G用LoRA就行训练快、效果稳。如果显存紧张比如12G用QLoRA能跑起来比什么都重要。我实测下来7B模型用QLoRA在12G显存上微调是可行的batch size设小一点梯度累积开大一点效果和LoRA差距不大。微调的数据格式主流是Alpaca格式和ShareGPT格式。Alpaca格式简单就是instruction、input、output三个字段。ShareGPT格式支持多轮对话字段是conversations数组。选哪种取决于你的数据形态单轮任务用Alpaca多轮对话用ShareGPT。训练参数里学习率和训练轮数是最关键的两个。学习率太大容易训崩太小收敛慢。我一般从2e-4开始试LoRA的话1e-4到3e-4之间比较常见。训练轮数看数据量数据少就多训几轮数据多就少训几轮但要盯着验证集loss别过拟合。注意微调前一定要把数据分成训练集和验证集比例大概9:1。没有验证集你根本不知道模型是学会了还是背下来了。4.4 部署上线从本地到服务的最后一公里模型微调完最后要部署成服务。本地测试用Ollama或者llama.cpp的命令行就行但要给别人用就得做成API服务。vLLM是我用得比较多的方案它支持OpenAI兼容的API格式部署完直接就能用OpenAI的SDK调用。启动命令大概是这样python -m vllm.entrypoints.openai.api_server \ --model /path/to/your/model \ --served-model-name my-model \ --dtype auto \ --max-model-len 4096启动后默认监听8000端口用curl或者Python的openai库就能调。vLLM的PagedAttention对显存管理做得好并发请求多的时候优势明显。如果要在手机端或者边缘设备上跑llama.cpp的GGUF格式是首选。它支持CPU推理量化后模型文件很小7B的INT4模型大概4G左右塞进App里可行。热搜里“android app集成ai大模型gguf”说的就是这个路线。部署完别忘了做压力测试。用工具模拟多个并发请求看响应时间和吞吐量。我见过太多模型本地跑得好好的一上服务就崩的情况基本都是并发没处理好。5. 常见问题与排查技巧实录5.1 显存不够怎么办这是最高频的问题。排查思路按优先级来第一确认模型是不是加载成了FP16如果是换成INT4或INT8量化版本显存直接砍到四分之一到一半。第二检查batch size和max_model_len这两个参数直接吃显存调小能省不少。第三用QLoRA代替LoRA做微调。第四开启梯度检查点用时间换空间。第五如果都不行换更小的模型7B不行就换3B。我整理了一个速查表问题现象可能原因解决方法加载模型就OOM模型太大或未量化换量化版本或换更小模型推理中途OOMmax_model_len太大调小max_model_len微调时OOMbatch size太大调小batch size开梯度累积多并发OOM并发数超过显存承载限制并发数或换vLLM5.2 微调后效果反而变差这个坑我踩过。原因通常有三个数据质量差、学习率太大、训练轮数太多导致过拟合。排查顺序是先看数据把训练数据随机抽几条出来看格式对不对、内容有没有问题。然后看loss曲线如果训练loss一直降但验证loss先降后升就是过拟合了减少训练轮数或者加正则。还有一个容易被忽略的点是基座模型的选择。有些基座模型本身在中文上就弱微调也救不回来。选基座模型时先做一轮评测看它在你的目标任务上的原始表现太差的直接换。5.3 推理速度慢怎么优化推理速度慢先定位瓶颈在哪。如果是首token延迟高通常是模型加载和prefill阶段的问题可以考虑用vLLM的连续批处理。如果是生成速度慢看是不是用了CPU推理换GPU会快很多。如果是量化导致的慢某些量化格式在特定硬件上反而更慢换一种量化方式试试。llama.cpp的话调整线程数和batch size对速度影响很大。线程数设成物理核心数别设成逻辑核心数。batch size适当调大能提升吞吐但会增加显存占用。5.4 大会发布的能力怎么快速验证每次大会发一堆新东西怎么快速判断哪些值得跟进我的方法是看有没有可复现的Demo和文档。只有PPT没有代码的先放一放。有Demo有文档的花半天时间跑一遍跑通了再深入。具体验证步骤第一步找到官方文档和示例代码第二步按文档配环境这一步最容易卡住卡住了就去搜issue第三步跑通最小示例第四步换成自己的数据或场景试第五步评估效果和成本决定要不要深入。这个流程能帮你在大会后一周内把真正有用的东西筛出来而不是被一堆概念带着跑。6. 我个人的一些实操体会跟踪了这么多场大会做了这么多轮部署和微调我最大的体会是别追新追稳。大会上发布的东西很多要等三到六个月才会真正稳定下来工具链的坑才会被填得差不多。如果你是做业务的等一等再上能省很多事。如果你是做技术预研的那可以早点动手但要有心理准备踩坑。另一个体会是本地部署和微调的能力正在成为AI应用开发的基本功。以前大家觉得调个API就行了现在越来越多的场景要求数据不出本地、要求低延迟、要求定制化这些都得靠本地部署和微调来解决。热搜里那些“大模型本地部署配置”“大模型微调实战”能一直热就是这个原因。最后分享一个小技巧每次大会后别急着看各种解读文章直接去翻官方的GitHub仓库和文档更新记录。那里面的信息最原始、最准确而且能看到具体的代码变更。我很多有用的发现都是从commit记录里挖出来的比看十篇解读都管用。这个领域变化快但底层的东西变化没那么快。把环境配置、模型选择、微调、部署这条链路走通一遍后面再出什么新模型新工具你都能快速上手。这才是跟踪大会亮点真正的价值所在。
