Qwen3.5-397B-A17B-MoE-MXFP4：AMD优化的3970亿参数多模态大模型完整指南

【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4

Qwen3.5-397B-A17B-MoE-MXFP4是一款由AMD优化的3970亿参数多模态大模型，基于Qwen/Qwen3.5-397B-A17B-FP8构建，专为AMD MI350/MI355硬件微架构设计，采用MXFP4量化技术，在保持高性能的同时显著提升了推理效率。

🌟 模型核心特性

🔹 多模态输入支持

• 输入类型：文本、图像、视频
• 输出类型：文本
• 视觉处理：采用27层视觉编码器，支持16×16图像 patch 大小和2×2时空合并（config.json）

🔹 AMD硬件优化

• 支持显卡：AMD MI350 / MI355
• 软件栈要求：
  • ROCm 7.2.0
  • PyTorch 2.9.1
  • Transformers 5.3.0
  • 操作系统：Linux

🔹 创新MoE架构

• 专家数量：512个专家
• 每token选择专家数：10个
• 共享专家优化：将共享专家量化为MXFP4并融合到MoE内核（FSE技术），相比BF16减少内存占用并提升解码吞吐量（README.md）

🚀 量化技术解析

🔹 MXFP4量化方案

• 权重量化：OCP MXFP4，静态量化
• 激活量化：OCP MXFP4，动态量化
• 量化工具：AMD-Quark v0.12
• 量化范围：所有MoE专家（包括共享专家）

🔹 量化效果

在GSM8K基准测试中，与原始FP8模型相比：

• 准确率：97.27%（原始模型97.95%）
• 恢复率：99.31%
• 性能提升：显著降低BF16内存占用，提升解码吞吐量（README.md）

💻 快速开始指南

🔹 环境准备

确保系统已安装ROCm 7.2.0和PyTorch 2.9.1，然后克隆仓库：

git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4 cd Qwen3.5-397B-A17B-MoE-MXFP4

🔹 使用SGLang启动服务

python3 -m sglang.launch_server \ --model-path . \ --tensor-parallel-size 4 \ --trust-remote-code \ --attention-backend aiter \ --mem-fraction-static 0.8 \ --host 0.0.0.0 --port 30000

🔹 生成配置参数

默认生成配置（generation_config.json）：

• 采样策略：temperature=0.6，top_k=20，top_p=0.95
• Token设置：bos_token_id=248044，eos_token_id=[248046, 248044]
• 最大上下文：支持262144 tokens（config.json）

📊 性能评估

🔹 推理性能

• 部署框架：SGLang
• 并行策略：张量并行（推荐4卡配置）
• 内存优化：mem-fraction-static=0.8（静态内存分配比例）

🔹 评估复现

使用lm-evaluation-harness进行评估：

lm_eval --model local-chat-completions --apply_chat_template \ --tasks gsm8k.yaml \ --num_fewshot 5 \ --model_args "model=.,base_url=http://127.0.0.1:30000/v1/chat/completions,num_concurrent=64" \ --gen_kwargs "max_tokens=12288,temperature=0,top_p=1"

📄 许可证信息

• 许可证：Apache-2.0
• 修改声明：© 2026 Advanced Micro Devices, Inc. 保留所有权利
• 原始模型：基于Qwen/Qwen3.5-397B-A17B-FP8构建

🛠️ 技术细节

🔹 模型架构

• 基础架构：Qwen3_5MoeForConditionalGeneration
• 隐藏层大小：4096
• 注意力头数：32（查询头），2（键值头）
• 层数：60层（交替使用线性注意力和全注意力）

🔹 文件结构

• 模型权重：94个分片（model.safetensors-00001-of-00094.safetensors至model.safetensors-00094-of-00094.safetensors）
• 配置文件：config.json（模型架构）、generation_config.json（生成参数）
• 分词器：tokenizer.json、vocab.json、merges.txt

这款由AMD优化的多模态大模型通过创新的MXFP4量化技术和MoE架构设计，为企业级AI应用提供了高性能、高效率的解决方案，特别适合在AMD MI350/MI355平台上部署大规模语言模型应用。

【免费下载链接】Qwen3.5-397B-A17B-MoE-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-397B-A17B-MoE-MXFP4