前文智谱GLM太强了coding plan还需要限时抢购咱们自己vllm也咧一个呗在微信公众号平台爆了 接近1w自然阅读文生文已经满足不了博主的分享欲今天记录vllm咧一个文生图模型。在文本生成领域99%的应用都基于自回归模型Autoregressive Models也就是我们熟知的GPT系列、LLaMA等。文本Text是离散的由词元Token组成而图像、视频是连续的像素或信号。扩散模型天生擅长处理连续数据, 文生图和文生视频的是当前扩散模型的主战场。什么是扩散模型diffusion models?使用文生图工具时内部真实发生的“魔法”起点你看到的完全随机的噪声图这相当于前向过程走到了终点。反向去噪第一步模型看着这张纯噪声图结合你的提示词预测出“这张图上现在应该被加上了什么噪声”。然后从当前图片中减去这个预测出的噪声。结果得到一张噪声少了一点点的、略微能看出模糊轮廓的图片。循环往复把上一步得到的、稍微清晰一点的图片作为新的输入再次让模型预测并减去噪声。终点重复几十步后噪声被逐步移除干净一张清晰的、符合你描述的图片就诞生了。这个一步步预测并减去噪声的循环从方向上看是前向加噪的“反向”从动作上看就是在“去噪”。vllm旗下的子项目vllm-omni[1]提供了简单、快速且低成本的多模态模型服务。Z-Image[2]是阿里开源的完整版本、未经蒸馏的的 Transformer 文生图模型 10.26B权重参数 20.55GB GPU显存 专为高质量、强生成多样性、广泛的风格覆盖能力以及精准的提示词遵循而设计。启动推理服务器vllm serve Tongyi-MAI/Z-Image --omni --port 8000 --tensor-parallel-size 2注意 不是原生vllm(对应的docker镜像是vllm-openai[3])带omni参数 而是一个包含omni扩展的多模态vllm (对应的docker镜像是vllm-omni[4])。支持两种接口 都是兼容openai的接口Diffusion Chat Completions API[5] 希望在类似聊天机器人的多模态、多轮对话中集成图像生成能力curl -s http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { messages: [ {role: user, content: A beautiful landscape painting} ], extra_body: { num_inference_steps: 50, seed: 42 } }Image Generation API[6] 稳定、专注于图像生成输出的二进制图片被base64 编码解码可得图片。curl -X POST http://localhost:8000/v1/images/generations \ -H Content-Type: application/json \ -d { prompt: a dragon laying over the spine of the Green Mountains of Vermont, size: 1024x1024, seed: 42 } | jq -r .data[0].b64_json | base64 -d dragon.png参考资料[1]vllm-omni:https://github.com/vllm-project/vllm-omni[2]Z-Image:https://www.modelscope.cn/models/Tongyi-MAI/Z-Image[3]vllm-openai:https://hub.docker.com/r/vllm/vllm-openai[4]vllm-omni:https://hub.docker.com/r/vllm/vllm-omni[5]Diffusion Chat Completions API:https://docs.vllm.ai/projects/vllm-omni/en/latest/serving/diffusion_chat_api/[6]Image Generation API:https://docs.vllm.ai/projects/vllm-omni/en/latest/serving/image_generation_api/智谱GLM太强了coding plan还需要限时抢购咱们自己vllm也咧一个呗同样都是九年义务教育他知道的AI算力科普好像比我多耶还有比ollama更傻瓜式的大模型本地部署方式吗 我不允许谁还不清楚function call在AI-Agent领域中打手的地位AI编程智能体登味太浓了必须治一治Higress这个中登才是AI时代网关的心头好 开源低门槛龙虾QwenPaw解决你的后顾之忧本文文字原创搁笔常恐意味尽愿闻读者金玉声 ”永久更新“地址见原文。点“赞”戳“在看”
