本地部署 DeepSeek-V4-Pro-0813 完整教程权重转换与交互式聊天一步步来【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813想在自己的服务器上本地部署 DeepSeek-V4-Pro-0813并体验完整的交互式聊天这篇零基础教程将带你一步步完成DeepSeek-V4-Pro-0813 权重转换convert.py与本地推理部署不需要深厚的算法功底跟着命令复制粘贴即可跑通。DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的正式版本相比预览版大幅增强了 Agent 能力并内置 DSpark 投机解码模块本地部署后无论是跑 Agent 任务还是日常对话都非常顺手。一、DeepSeek-V4-Pro-0813 是什么部署前必知亮点在动手之前先花 30 秒了解一下这个模型方便你判断硬件是否满足要求架构MoE混合专家模型61 层 Transformer共 384 个路由专家、每 token 激活 6 个配合 1 个共享专家上下文最长支持 1,048,576 tokens约百万级上下文长文档处理能力出色量化官方权重默认 FP8 权重 FP4 专家精度显存占用可控推理加速内置 DSpark 投机解码模块解码速度更快许可MIT License商用与二次开发友好。二、本地部署前的准备工作环境与硬件要求硬件与显存建议本地部署需要NVIDIA GPU CUDA 环境。模型为 MoE 架构显存需求与激活专家数直接相关推荐至少 4 张高性能 GPU如 GB200/GB300 级别并通过模型并行分摊显存。若显存紧张可考虑将专家精度从 FP4 转为 FP8后面会讲。安装依赖克隆仓库后先安装推理所需的 Python 依赖git clone https://gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813 cd DeepSeek-V4-Pro-0813 pip install -r inference/requirements.txt依赖清单见inference/requirements.txt核心组件包括torch2.10.0、transformers5.0.0、safetensors、fast_hadamard_transform和tilelang0.1.8。 提示本项目没有提供 Jinja 聊天模板而是使用encoding/encoding_dsv4.py中的编码器将 OpenAI 格式消息转为模型输入仓库自带完整测试用例可放心使用。三、第一步DeepSeek-V4-Pro-0813 权重转换完整流程仓库里的官方权重是 HuggingFace 格式66 个.safetensors分片而本地推理代码需要转换后的分片格式这一步由inference/convert.py完成。一键转换命令export EXPERTS384 export MP4 export CONFIGconfig.json python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}其中${HF_CKPT_PATH}是 HuggingFace 权重所在目录仓库根目录${SAVE_PATH}是转换结果的输出目录。参数说明表参数含义建议值--hf-ckpt-path原始 HuggingFace 权重目录仓库根目录--save-path转换后权重的输出目录任意空目录--n-experts模型路由专家总数需与配置中n_routed_experts一致本项目为 384--model-parallel模型并行数GPU 卡数须能被专家数整除如 4、8--expert-dtype专家权重精度默认 FP4可选fp8转换完成后输出目录会自动生成model0-mp4.safetensors等分片文件并复制tokenizer.json、tokenizer_config.json到输出目录供推理阶段直接读取。可选的 FP8 转换方式如果你想用 FP8 精度运行兼容性更好、对部分硬件更友好只需移除inference/config.json中的expert_dtype: fp4配置并在转换时显式指定python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} \ --n-experts 384 --model-parallel 4 --expert-dtype fp8四、第二步启动交互式聊天与模型实时对话权重转换完成后就可以用inference/generate.py与 DeepSeek-V4-Pro-0813 实时对话了单机多卡启动命令torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive启动成功后终端会显示Im DeepSeek 随后输入即可开始对话。聊天采用thinking_modechat模式编码回复即出无需等待长思考。聊天小技巧输入/exit退出对话输入/clear清空当前对话历史重新开始采样参数推荐temperature 1.0Agent 场景下top_p 0.95普通场景top_p 1.0若使用high/max推理档位建议最大输出长度设为384K tokens。批量推理模式不想交互把多条问题按空行分隔写入文件即可一键批量推理torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} --config ${CONFIG} --input-file ${FILE}多节点推理单机多卡不够用时还能跨节点分布式推理torchrun --nnodes ${NODES} --nproc-per-node $((MP / NODES)) \ --node-rank $RANK --master-addr $ADDR generate.py \ --ckpt-path ${SAVE_PATH} --config ${CONFIG} --input-file ${FILE}五、进阶了解消息编码机制交互式聊天背后是encoding/encoding_dsv4.py提供的消息编码能力。它支持多轮对话、工具调用DSML 格式、思维链think.../think以及low/high/max三档reasoning_effort推理强度。核心接口只有两个encode_messages(messages, thinking_mode..., reasoning_effort...)把 OpenAI 格式消息转为模型输入字符串parse_message_from_completion_text(...)把模型输出解析回结构化消息。如果你打算基于该模型做 Agent 应用建议仔细阅读encoding/README.md了解 DSML 工具调用格式仓库还提供了encoding/test_encoding_dsv4.py与encoding/tests/下的 4 组测试用例供参考。六、常见问题排查清单问题解决办法转换时报“专家数无法被并行数整除”调整--model-parallel使其能被--n-experts整除显存不足改用--expert-dtype fp8或增加并行卡数对话输出格式异常确认使用的是encoding目录中的编码器且消息格式符合 OpenAI 结构长上下文推理缓慢降低--max-new-tokens或使用低档reasoning_effort结语至此你已经完成了DeepSeek-V4-Pro-0813 本地部署的全部核心步骤克隆仓库、安装依赖、权重转换、启动交互式聊天甚至掌握了批量推理与多节点扩展。整套流程用到的代码都集中在inference/convert.py与inference/generate.py结构清晰、易于二次修改。本地跑通之后无论是搭建私有 AI 助手还是研究 MoE 与投机解码都能玩出更多花样快去试试吧【免费下载链接】DeepSeek-V4-Pro-0813项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-V4-Pro-0813创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考