1. 项目概述从文本到视觉的对话革命最近在折腾大模型的朋友估计都绕不开一个词多模态。纯文本的对话已经玩腻了大家开始琢磨怎么让AI不仅能“听懂”你说的话还能“看懂”你发的图甚至结合图文信息给你一个更聪明的回答。这背后就是多模态大模型在发力。而VisualGLM-6B作为清华开源的一个“明星项目”恰好给了我们一个绝佳的、低成本上手多模态对话的入口。简单来说VisualGLM-6B是一个开源的、参数规模为60亿的多模态对话模型。它的核心能力在于能够同时理解图像和文本输入并生成连贯的文本回复。这和我们熟悉的纯文本Chat模型比如一些早期的ChatGLM版本有本质区别。你可以把它想象成一个具备了“视觉”能力的对话伙伴你丢给它一张产品截图它能告诉你界面设计哪里不合理你上传一张电路板照片它能分析可能存在的焊接问题甚至你拍下晚餐的图片它还能跟你讨论菜品的营养搭配。这个项目对于开发者、AI爱好者和特定领域的应用探索者来说价值巨大。首先它是开源的这意味着你可以本地部署数据隐私和安全完全自己掌控这对于处理企业内部敏感图像或医疗影像等场景至关重要。其次6B的参数量相对友好在消费级显卡比如RTX 3090/4090甚至24G显存的RTX 4090 D上就有机会跑起来降低了研究和应用的门槛。最后它提供了一个清晰的范式让我们可以一窥多模态模型是如何将视觉特征与语言模型对齐的这本身就是一次宝贵的学习过程。接下来我将以一个实践者的角度带你从零开始完整走一遍用VisualGLM-6B搭建多模态对话系统的流程。我们会涵盖环境搭建、模型加载、对话交互、性能优化以及实际应用中可能遇到的坑。目标很明确让你看完就能动手跑通第一个属于你自己的多模态AI对话。2. 核心原理与模型架构浅析在动手之前花点时间理解VisualGLM-6B是怎么工作的能让你在后续遇到问题时更快地定位和解决。它不是一个从零训练的全新模型而是一个高效的“嫁接”产物这种设计思路在资源有限的情况下非常聪明。2.1 双塔架构视觉编码器与语言大模型的联姻VisualGLM-6B的核心架构可以概括为“视觉编码器 语言大模型 连接层”。这是一种经典的“双塔”结构。视觉塔Vision Tower 负责处理图像。VisualGLM-6B使用了在视觉领域久经考验的BLIP-2模型中的视觉编码器部分具体来说是ViT-L/14Vision Transformer Large patch size 14。当你输入一张图片时这个视觉编码器会像扫描仪一样将图片分割成一个个小块patch然后通过Transformer层提取出高度抽象的视觉特征。这些特征不再是原始的像素而是一组能够表示图像内容物体、场景、关系等的数学向量。语言塔Language Tower 负责处理文本和生成回复。这里使用的是ChatGLM2-6B的模型权重。ChatGLM2本身是一个强大的中英双语对话语言模型拥有60亿参数在理解和生成中文方面表现优异。关键的连接层Projection Layer 这是实现多模态理解的核心。视觉编码器输出的视觉特征向量和语言模型理解的文本特征向量原本存在于两个不同的“语义空间”里直接对接是鸡同鸭讲。连接层一个可训练的多层感知机MLP的作用就是充当“翻译官”将视觉特征向量“投影”或“对齐”到语言模型的特征空间中。这样语言模型就能像理解文本token一样去理解这些视觉特征了。在训练时模型的大部分参数视觉编码器和语言模型是冻结的只训练中间这个连接层的参数。这种策略称为“高效微调”它用很小的训练成本只需要训练几百万个参数而不是全部的60亿就让语言模型获得了视觉理解能力。这也是为什么我们能这么快用上效果不错的开源多模态模型。2.2 工作流程从图像输入到文本输出当你进行一次多模态对话时模型内部的处理流程是这样的图像预处理 输入的图像被调整到固定分辨率如224x224并归一化。视觉特征提取 预处理后的图像送入冻结的ViT视觉编码器输出一系列视觉特征向量。特征投影 这些视觉特征向量通过训练好的连接层MLP被转换成语言模型空间的视觉token。文本编码 同时你的文本提示词例如“描述这张图片”被转换成文本token。序列拼接 视觉token和文本token被拼接成一个完整的输入序列送给ChatGLM2语言模型。理解与生成 ChatGLM2将这个混合序列作为一个整体来理解。视觉token提供了上下文信息模型基于此来生成接下来的文本token也就是它的回复。解码输出 生成的token被解码成我们人类可读的文本完成一次对话。这个过程听起来复杂但得益于开源代码和封装好的接口我们在实际调用时几乎感知不到。理解这个流程的最大好处是当模型回复出现偏差时你可以有方向地去排查是图片预处理的问题还是提示词没写对或者是投影层对齐不够好注意VisualGLM-6B的视觉理解能力受限于其训练数据。它主要是在一些英文图像-文本对数据集如COCO上训练的连接层因此对于非常中文场景、专业领域图像或细节的理解可能有限。它不是万能的更像是一个“具备了基础视觉常识的语言专家”。3. 环境准备与依赖安装好了原理部分点到为止我们开始动手。第一步是把环境搭起来。我强烈建议使用Conda来创建独立的Python环境避免与系统或其他项目的包发生冲突。3.1 基础环境配置首先确保你的机器有NVIDIA显卡并且安装了合适版本的CUDA。VisualGLM-6B推荐使用CUDA 11.7或11.8。你可以通过nvidia-smi命令查看CUDA版本。# 创建一个新的conda环境Python版本建议3.8-3.10 conda create -n visualglm python3.10 conda activate visualglm接下来安装PyTorch。请务必去PyTorch官网根据你的CUDA版本选择正确的安装命令。例如对于CUDA 11.8pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183.2 核心依赖安装VisualGLM-6B的源代码托管在Hugging Face和ModelScope上。我们可以通过transformers库来加载模型。此外还需要一些图像处理和加速库。# 安装 transformers 及其依赖 pip install transformers4.23.1 # 安装用于图像处理的 Pillow pip install pillow # 安装加速推理的库cpm_kernels是ChatGLM模型需要的 pip install cpm_kernels # 安装 Gradio可选用于构建Web界面 pip install gradio # 安装 modelscope可选另一种模型加载方式 # pip install modelscope这里有个关键点transformers的版本不能太低必须支持ChatGLM2模型。cpm_kernels是ChatGLM系列模型用于高效激活函数计算的核函数库必须安装。3.3 模型下载与准备VisualGLM-6B的模型权重可以从多个源下载。最直接的方式是从Hugging Face Hub拉取。由于模型较大约12GB请确保网络通畅。# 这是一个预检查脚本可以放在下载前运行 from transformers import AutoTokenizer, AutoModel import torch # 这只是测试transformers能否正常导入相关类实际加载在下一步 print(环境检查通过可以开始加载模型。)实际加载模型我们会在下一节进行。如果你身处国内从Hugging Face下载可能较慢可以考虑从清华云或ModelScope镜像下载。很多国内教程会提供网盘链接但请注意文件完整性最好能校验SHA256值。实操心得在开始下载巨大的模型文件前先在一个小的脚本里测试transformers和torch是否能正常导入并测试CUDA是否可用torch.cuda.is_available()可以避免下载完成后才发现环境有问题的尴尬。另外建议将模型缓存到一个空间充足的SSD硬盘上机械硬盘的读取可能会成为推理速度的瓶颈。4. 模型加载与初次对话环境就绪模型也下载好了现在让我们来点亮这个多模态模型进行第一次“视觉对话”。4.1 使用Transformers库加载模型这是最标准、最推荐的方式。Hugging Face的transformers库提供了统一的接口。from transformers import AutoTokenizer, AutoModel from PIL import Image import torch import warnings warnings.filterwarnings(ignore) # 指定模型路径。如果是本地路径就换成你的路径。 # 这里使用Hugging Face上的模型ID model_path THUDM/visualglm-6b # 加载tokenizer和model tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).half().cuda() # 使用.half()将模型转换为半精度float16可以显著减少显存占用并提升速度。 # .cuda()将模型加载到GPU上。 model model.eval() # 设置为评估模式关键参数解析trust_remote_codeTrue: 这个参数至关重要。因为VisualGLM/ChatGLM的模型实现不在transformers库的原生支持列表中其模型定义代码存储在仓库里。这个参数允许从远程仓库下载并执行模型代码必须设置为True。.half(): 将模型参数从默认的float32转换为float16半精度。这是在不明显损失精度的情况下降低显存消耗和加快计算速度的最有效方法之一。对于6B模型这通常能将显存需求从约12GB降到约6GB。.cuda(): 将模型加载到GPU显存中。如果你的显存不足6GB可能会加载失败。后续我们会讨论量化等优化方法。4.2 准备第一张图片和对话让我们找一张简单的图片来测试。你可以准备一张包含猫、狗或者风景的图片。# 1. 加载图片 image_path path/to/your/test_image.jpg # 替换成你的图片路径 image Image.open(image_path).convert(RGB) # 确保是RGB三通道 # 2. 构建对话历史对于初次对话历史为空 history [] # 3. 构建提示词。VisualGLM-6B使用了一种特定的格式。 # 通常我们会在用户消息中通过[Round 1]\n\n问[图片]\n描述这张图片。这样的格式来插入图片。 # 但更简单的方式是使用模型提供的chat接口。 query 描述这张图片。4.3 执行多模态推理使用模型提供的chat方法进行推理。response, updated_history model.chat( tokenizertokenizer, queryquery, imageimage, # 传入PIL Image对象 historyhistory, max_length2048, # 生成的最大长度 top_p0.7, # 核采样参数影响生成多样性 temperature0.95 # 温度参数影响随机性 ) print(模型回复, response)如果一切顺利你将看到模型对图片的描述。例如对于一张猫的图片它可能会回复“图片中有一只猫它看起来是橘色的正躺在一个沙发上。”参数调整心得max_length: 控制生成回复的最大token数。设得太短可能回复不完整太长则浪费计算资源且可能生成无关内容。2048对于大多数对话已足够。top_p(nucleus sampling): 值越高接近1生成时选择的词库范围越广回复可能更多样、更有创意但也可能更不稳定。值越低如0.5生成会更集中于概率最高的几个词回复更确定、更保守。0.7是一个平衡点。temperature: 温度。值越高如1.0生成越随机、越“天马行空”值越低如0.1生成越确定、越倾向于最高概率的词。0.95提供了一个不错的创造性。初次测试时如果回复奇怪可以尝试将temperature调低如0.8top_p调低如0.5让输出更稳定。5. 构建交互式对话系统单次问答不过瘾我们需要一个能进行多轮对话的系统。同时一个图形化界面GUI能极大提升体验和演示效果。这里我们用Gradio来快速搭建一个Web应用。5.1 实现多轮对话逻辑模型的chat方法已经考虑了历史记录。我们需要做的就是维护一个history列表并在每轮对话后更新它。class VisualGLMChatBot: def __init__(self, model_pathTHUDM/visualglm-6b): self.tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) self.model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).half().cuda() self.model.eval() self.history [] def reset_history(self): 清空对话历史 self.history [] return 历史已清空。 def chat(self, image, query): 核心对话函数 :param image: PIL.Image对象可以为None纯文本对话 :param query: 用户输入的文本 :return: 模型的回复 if image is not None and not isinstance(image, Image.Image): # 如果Gradio传入的是numpy数组需转换 image Image.fromarray(image) try: response, self.history self.model.chat( self.tokenizer, queryquery, imageimage, historyself.history, max_length2048, top_p0.7, temperature0.95 ) return response except Exception as e: return f生成回复时出错{str(e)} # 初始化机器人 bot VisualGLMChatBot()5.2 使用Gradio创建Web界面Gradio能让我们用几十行代码就做出一个功能完整的Web应用。import gradio as gr def predict(image, input_text, chatbot_state): Gradio交互函数 :param image: 上传的图片 :param input_text: 用户输入框的文本 :param chatbot_state: 用于存储对话历史的Gradio状态 :return: 更新后的聊天历史清空后的输入框 if chatbot_state is None: chatbot_state [] # 将用户消息加入历史显示用 if image is not None: # 对于图片我们可以在聊天记录里用一个缩略图或文字表示 chatbot_state.append(((image,), input_text)) else: chatbot_state.append((None, input_text)) # 调用模型 response bot.chat(image, input_text) # 将模型回复加入历史 chatbot_state.append((None, response)) return chatbot_state, , None # 返回历史、清空输入框、清空图片 def clear_history(): 清空历史回调 bot.reset_history() return [] # 构建界面 with gr.Blocks(titleVisualGLM-6B 多模态对话助手, themegr.themes.Soft()) as demo: gr.Markdown(# ️ VisualGLM-6B 多模态对话助手) gr.Markdown(上传一张图片然后输入问题。模型可以结合图片内容进行对话。) with gr.Row(): with gr.Column(scale1): image_input gr.Image(typepil, label上传图片可选) input_text gr.Textbox(label输入你的问题, placeholder例如描述这张图片。, lines3) submit_btn gr.Button(发送, variantprimary) clear_btn gr.Button(清空历史) with gr.Column(scale2): chatbot gr.Chatbot(label对话历史, height500) state gr.State() # 用于存储内部对话状态 # 绑定事件 submit_btn.click( fnpredict, inputs[image_input, input_text, state], outputs[chatbot, input_text, image_input] ) # 回车键也触发发送 input_text.submit( fnpredict, inputs[image_input, input_text, state], outputs[chatbot, input_text, image_input] ) clear_btn.click(fnclear_history, outputs[chatbot]) # 启动应用shareTrue可生成临时公网链接 demo.launch(server_name0.0.0.0, server_port7860, shareFalse)运行这段代码在浏览器中打开http://localhost:7860你就能看到一个简洁的聊天界面。你可以上传图片并提问对话历史会滚动显示。注意事项Gradio的Chatbot组件默认不支持直接显示图片。上面的代码将图片作为用户消息的一部分元组存储但Gradio可能无法渲染。一个更常见的做法是当有图片时在用户消息文本前加上[图片]的标识或者使用gr.Gallery组件单独显示历史图片。这里为了简化先以文本标识处理。如果需要更精美的界面可以进一步自定义Chatbot的HTML模板。6. 性能优化与加速技巧VisualGLM-6B在消费级显卡上运行速度可能并不理想尤其是生成较长文本时。另外显存不足也是常见问题。下面介绍几种实用的优化方法。6.1 模型量化4比特与8比特加载量化是将模型权重从高精度如float16转换为低精度如int8, int4的过程能大幅减少显存占用和提升推理速度但会轻微损失精度。使用bitsandbytes进行8比特量化from transformers import BitsAndBytesConfig import torch # 配置4比特量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, # 使用4比特量化加载 bnb_4bit_compute_dtypetorch.float16, # 计算时使用float16 bnb_4bit_use_double_quantTrue, # 使用双重量化进一步压缩 bnb_4bit_quant_typenf4, # 量化类型nf4是推荐的新格式 ) model AutoModel.from_pretrained( model_path, trust_remote_codeTrue, quantization_configbnb_config, # 传入量化配置 device_mapauto # 自动分配模型层到可用设备GPU/CPU )使用4比特量化后模型显存占用可能从12GBFP16降低到3-4GB左右使得在RTX 306012G甚至更小的显卡上运行成为可能。device_mapauto会让transformers自动将模型不同层分配到GPU和CPU上充分利用资源。注意事项量化需要安装bitsandbytes库pip install bitsandbytes。在Windows上安装可能比较麻烦可能需要从源码编译或寻找预编译的wheel。量化模型在加载时可能会慢一些因为需要解量化。但推理速度会有提升。精度损失是存在的对于某些复杂任务如细节描述、推理回复质量可能略有下降但对于大多数对话场景影响不大。6.2 使用vLLM或TGI进行高性能推理如果你追求极致的推理速度Tokens per Second尤其是在需要高并发API服务的场景下可以考虑使用专门的推理服务器如vLLM或Text Generation Inference (TGI)。这些框架采用了PagedAttention等高级优化技术能极大优化显存利用和生成速度。不过它们对模型的支持有要求可能需要将VisualGLM转换为它们支持的格式如AWQ量化格式配置过程相对复杂。这里简要提一下思路模型转换 使用autoawq等工具将VisualGLM-6B转换为AWQ量化格式。部署vLLM服务器pip install vllm python -m vllm.entrypoints.openai.api_server \ --model THUDM/visualglm-6b \ --served-model-name visualglm-6b \ --max-model-len 2048 \ --quantization awq # 如果使用了AWQ量化客户端调用 服务器会提供OpenAI兼容的API接口你可以像调用ChatGPT API一样调用它。这对于生产环境是很好的选择但入门门槛较高。初次体验建议先用transformers。6.3 提示词工程优化模型的输出质量很大程度上取决于你的输入。对于多模态模型提示词Prompt同样关键。基础提示词技巧明确指令 不要只说“看这张图”。要说“详细描述这张图片中的场景、人物和他们的动作。”或者“根据这张图表总结前三项关键数据。”角色扮演 “假设你是一位专业的摄影师从构图、光线和色彩的角度评价这张照片。”分步思考 对于复杂问题可以引导模型思考。“首先识别图片中的主要物体。然后描述它们之间的关系。最后推断这张图片可能拍摄于什么季节。”VisualGLM-6B的特殊格式 虽然我们用了封装好的chat接口但了解其底层提示格式有助于调试。其原始格式类似于[Round 1] 问[图片]这是一张什么类型的图片 答模型在训练时被灌输了这种格式。如果你直接使用tokenizer和model.generate()可能需要手动构造这样的序列。chat接口帮我们自动处理了这些。一个高级技巧Few-shot Prompting。在历史记录history中先给模型提供一两个“示例对话”告诉它你期望的回答格式和深度。这能显著提升模型在特定任务上的表现。7. 常见问题排查与实战心得在实际部署和玩耍VisualGLM-6B的过程中你几乎一定会遇到下面这些问题。我把它们和解决方案整理出来希望能帮你节省大量时间。7.1 显存不足CUDA Out Of Memory这是最常见的问题。症状 加载模型或生成文本时程序崩溃提示RuntimeError: CUDA out of memory。解决方案启用量化 如上所述使用4比特或8比特量化是解决显存问题最有效的方法。减少批次大小和生成长度 如果你在批量处理图片确保batch_size1。将max_length参数调小比如1024。使用CPU卸载 如果显存实在太小可以将部分模型层卸载到CPU内存。transformers的device_mapauto会尝试自动做这件事但你可以手动指定更精细的策略需要accelerate库。清理缓存 在PyTorch中使用torch.cuda.empty_cache()可以释放未使用的显存缓存。在长时间运行或处理多张图片后调用一下。升级硬件 终极方案。RTX 3090/409024G是相对舒适的选择。7.2 模型回复质量差或胡言乱语症状 回复不相关、重复、或者出现乱码。排查步骤检查输入图片 模型对图片分辨率敏感。确保图片不是损坏的并且经过PIL.Image.open().convert(RGB)处理。过于模糊或信息量极少的图片可能导致模型困惑。调整生成参数 首要任务是降低temperature如0.2和top_p如0.5减少随机性。如果问题依旧尝试降低repetition_penalty如果接口提供来避免重复。检查提示词 提示词是否清晰、无歧义对于中文模型尽量使用清晰的中文提示。尝试换一种问法。确认模型加载正确 确保没有混合使用不同版本的tokenizer和model。量化可能会引入噪声尝试不使用量化加载看看问题是否依然存在排除量化导致的精度损失。历史记录污染 在多轮对话中过长的、包含错误信息的history可能会把对话带偏。尝试清空历史重新开始。7.3 加载模型时报错TrustRemoteCode或模块找不到症状ValueError: ... requires you to execute the code in ...或ModuleNotFoundError: No module named ...。解决方案确保transformers版本足够高4.23.1。确保trust_remote_codeTrue参数已经加上。这个错误通常是因为模型仓库里的自定义代码依赖了一些额外包。根据错误提示安装缺失的包例如pip install icetkChatGLM的分词器可能用到。如果网络问题导致远程代码下载失败可以尝试先将模型仓库git clone到本地然后从本地路径加载并设置trust_remote_codeTrue。7.4 推理速度太慢症状 生成一句回复需要十几秒甚至更久。优化方向使用半精度 确保模型使用了.half()。启用CUDA Graph如果支持 一些推理框架支持CUDA Graph来捕获和重放核函数减少启动开销。transformers本身对它的支持有限但在vLLM等框架中效果显著。升级硬件和驱动 确保CUDA、cuDNN版本与PyTorch匹配且为最新稳定版。批处理 如果有大量图片需要处理尽量批量化输入而不是单张循环。但这需要更大的显存。7.5 实战心得它擅长什么不擅长什么经过大量测试我对VisualGLM-6B的能力边界有了些感性认识它做得不错的通用物体和场景描述 识别猫、狗、汽车、街道、办公室等常见元素并给出基本描述。简单关系理解 “左边的杯子在电脑旁边”这类空间关系。基于图片的简单问答 “图片里有几个人”、“天气怎么样”中文对话流畅度 得益于ChatGLM2-6B的底座其文本生成部分的中文流畅性和逻辑性相当好。它的短板细节和文字识别 对图片中的细小文字如路牌、书名识别能力很弱甚至完全忽略。这不是它的设计目标。复杂推理和计数 对于“图片里有几只鸟”如果鸟又多又小它经常数错。专业领域图像 医学影像、工程图纸、复杂的科学图表等内容它的理解非常表面甚至可能胡说八道。审美和主观评价 让它评价一幅画“美不美”回答往往很模板化缺乏深度见解。多图关联 它一次只能处理一张图片无法理解多张图片之间的关联或序列。理解这些边界非常重要。不要把它当成一个全能的“视觉天才”而是把它看作一个“具备了基础视觉常识的文本对话专家”。在它的能力范围内使用你会获得不错的体验用它处理超出范围的任务则难免失望。8. 进阶应用与扩展思路跑通基础对话只是第一步。VisualGLM-6B作为一个开源基座有很多可以玩和可以改进的地方。8.1 领域适配微调Fine-tuning如果你想让VisualGLM-6B精通某个特定领域比如识别电商产品图、分析医学影像报告截图就需要用你领域的数据对它进行微调。由于全参数微调成本极高通常采用LoRA或QLoRA等参数高效微调方法。这些方法只训练模型中的一小部分附加参数低秩适配器效果接近全参数微调但成本低得多。微调的基本步骤准备数据 收集图像指令输出三元组。例如商品图“详细描述这件商品的特点和适用场景。” “这是一件蓝色纯棉T恤...”。选择微调框架 使用PEFTParameter-Efficient Fine-Tuning库它内置了LoRA等实现。编写训练脚本 冻结视觉编码器和语言模型的大部分参数只对连接层和LoRA适配器进行训练。训练与评估 在GPU上进行训练并在验证集上评估效果。这个过程需要一定的机器学习工程经验但网上已有不少基于ChatGLM2-6B的LoRA微调教程其思路完全可以迁移到VisualGLM-6B上。8.2 集成到现有系统打造智能客服或内容审核助手将VisualGLM-6B封装成一个API服务就能集成到各种应用中。智能客服 用户上传产品故障图片机器人结合图片和文字描述提供初步的故障排查步骤。内容审核辅助 自动识别用户上传图片中的违规内容如暴力、血腥、敏感标识并生成审核理由辅助人工审核。教育工具 学生上传物理实验装置图或数学几何题图机器人引导其思考解题步骤。技术实现 你可以用FastAPI或Flask将上面的Gradio应用背后的逻辑包装成RESTful API。from fastapi import FastAPI, File, UploadFile, Form from PIL import Image import io app FastAPI() chatbot VisualGLMChatBot() # 复用之前的类 app.post(/chat/) async def visual_chat(image: UploadFile File(None), query: str Form(...)): image_obj None if image: contents await image.read() image_obj Image.open(io.BytesIO(contents)).convert(RGB) response chatbot.chat(image_obj, query) return {response: response} app.post(/reset/) async def reset(): chatbot.reset_history() return {status: history cleared}这样前端应用网页、小程序、APP就可以通过调用这个API来实现多模态对话功能。8.3 探索模型局限性并贡献作为开源项目VisualGLM-6B也在不断进化。你在使用中发现的任何问题比如对某类图片的误解、奇怪的回复模式都可以在GitHub仓库的Issues区反馈。如果你有能力甚至可以研究问题根源尝试修复并提交Pull Request。例如你可以构建更高质量的中文评测集 目前多模态评测基准如VQAv2多以英文为主构建中文的评测数据对社区很有价值。尝试新的连接层结构 研究不同的投影网络是否能带来更好的视觉-语言对齐。探索训练技巧 尝试用更高质量或更多样化的数据微调连接层提升模型表现。VisualGLM-6B不仅仅是一个拿来即用的工具它更是一个绝佳的学习和研究平台。通过它你可以深入理解多模态模型的技术细节甚至为其发展做出自己的贡献。从入门到精通再到创新这条路充满了挑战但也正是其魅力所在。
VisualGLM-6B多模态大模型实战：从原理到本地部署与优化
1. 项目概述从文本到视觉的对话革命最近在折腾大模型的朋友估计都绕不开一个词多模态。纯文本的对话已经玩腻了大家开始琢磨怎么让AI不仅能“听懂”你说的话还能“看懂”你发的图甚至结合图文信息给你一个更聪明的回答。这背后就是多模态大模型在发力。而VisualGLM-6B作为清华开源的一个“明星项目”恰好给了我们一个绝佳的、低成本上手多模态对话的入口。简单来说VisualGLM-6B是一个开源的、参数规模为60亿的多模态对话模型。它的核心能力在于能够同时理解图像和文本输入并生成连贯的文本回复。这和我们熟悉的纯文本Chat模型比如一些早期的ChatGLM版本有本质区别。你可以把它想象成一个具备了“视觉”能力的对话伙伴你丢给它一张产品截图它能告诉你界面设计哪里不合理你上传一张电路板照片它能分析可能存在的焊接问题甚至你拍下晚餐的图片它还能跟你讨论菜品的营养搭配。这个项目对于开发者、AI爱好者和特定领域的应用探索者来说价值巨大。首先它是开源的这意味着你可以本地部署数据隐私和安全完全自己掌控这对于处理企业内部敏感图像或医疗影像等场景至关重要。其次6B的参数量相对友好在消费级显卡比如RTX 3090/4090甚至24G显存的RTX 4090 D上就有机会跑起来降低了研究和应用的门槛。最后它提供了一个清晰的范式让我们可以一窥多模态模型是如何将视觉特征与语言模型对齐的这本身就是一次宝贵的学习过程。接下来我将以一个实践者的角度带你从零开始完整走一遍用VisualGLM-6B搭建多模态对话系统的流程。我们会涵盖环境搭建、模型加载、对话交互、性能优化以及实际应用中可能遇到的坑。目标很明确让你看完就能动手跑通第一个属于你自己的多模态AI对话。2. 核心原理与模型架构浅析在动手之前花点时间理解VisualGLM-6B是怎么工作的能让你在后续遇到问题时更快地定位和解决。它不是一个从零训练的全新模型而是一个高效的“嫁接”产物这种设计思路在资源有限的情况下非常聪明。2.1 双塔架构视觉编码器与语言大模型的联姻VisualGLM-6B的核心架构可以概括为“视觉编码器 语言大模型 连接层”。这是一种经典的“双塔”结构。视觉塔Vision Tower 负责处理图像。VisualGLM-6B使用了在视觉领域久经考验的BLIP-2模型中的视觉编码器部分具体来说是ViT-L/14Vision Transformer Large patch size 14。当你输入一张图片时这个视觉编码器会像扫描仪一样将图片分割成一个个小块patch然后通过Transformer层提取出高度抽象的视觉特征。这些特征不再是原始的像素而是一组能够表示图像内容物体、场景、关系等的数学向量。语言塔Language Tower 负责处理文本和生成回复。这里使用的是ChatGLM2-6B的模型权重。ChatGLM2本身是一个强大的中英双语对话语言模型拥有60亿参数在理解和生成中文方面表现优异。关键的连接层Projection Layer 这是实现多模态理解的核心。视觉编码器输出的视觉特征向量和语言模型理解的文本特征向量原本存在于两个不同的“语义空间”里直接对接是鸡同鸭讲。连接层一个可训练的多层感知机MLP的作用就是充当“翻译官”将视觉特征向量“投影”或“对齐”到语言模型的特征空间中。这样语言模型就能像理解文本token一样去理解这些视觉特征了。在训练时模型的大部分参数视觉编码器和语言模型是冻结的只训练中间这个连接层的参数。这种策略称为“高效微调”它用很小的训练成本只需要训练几百万个参数而不是全部的60亿就让语言模型获得了视觉理解能力。这也是为什么我们能这么快用上效果不错的开源多模态模型。2.2 工作流程从图像输入到文本输出当你进行一次多模态对话时模型内部的处理流程是这样的图像预处理 输入的图像被调整到固定分辨率如224x224并归一化。视觉特征提取 预处理后的图像送入冻结的ViT视觉编码器输出一系列视觉特征向量。特征投影 这些视觉特征向量通过训练好的连接层MLP被转换成语言模型空间的视觉token。文本编码 同时你的文本提示词例如“描述这张图片”被转换成文本token。序列拼接 视觉token和文本token被拼接成一个完整的输入序列送给ChatGLM2语言模型。理解与生成 ChatGLM2将这个混合序列作为一个整体来理解。视觉token提供了上下文信息模型基于此来生成接下来的文本token也就是它的回复。解码输出 生成的token被解码成我们人类可读的文本完成一次对话。这个过程听起来复杂但得益于开源代码和封装好的接口我们在实际调用时几乎感知不到。理解这个流程的最大好处是当模型回复出现偏差时你可以有方向地去排查是图片预处理的问题还是提示词没写对或者是投影层对齐不够好注意VisualGLM-6B的视觉理解能力受限于其训练数据。它主要是在一些英文图像-文本对数据集如COCO上训练的连接层因此对于非常中文场景、专业领域图像或细节的理解可能有限。它不是万能的更像是一个“具备了基础视觉常识的语言专家”。3. 环境准备与依赖安装好了原理部分点到为止我们开始动手。第一步是把环境搭起来。我强烈建议使用Conda来创建独立的Python环境避免与系统或其他项目的包发生冲突。3.1 基础环境配置首先确保你的机器有NVIDIA显卡并且安装了合适版本的CUDA。VisualGLM-6B推荐使用CUDA 11.7或11.8。你可以通过nvidia-smi命令查看CUDA版本。# 创建一个新的conda环境Python版本建议3.8-3.10 conda create -n visualglm python3.10 conda activate visualglm接下来安装PyTorch。请务必去PyTorch官网根据你的CUDA版本选择正确的安装命令。例如对于CUDA 11.8pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183.2 核心依赖安装VisualGLM-6B的源代码托管在Hugging Face和ModelScope上。我们可以通过transformers库来加载模型。此外还需要一些图像处理和加速库。# 安装 transformers 及其依赖 pip install transformers4.23.1 # 安装用于图像处理的 Pillow pip install pillow # 安装加速推理的库cpm_kernels是ChatGLM模型需要的 pip install cpm_kernels # 安装 Gradio可选用于构建Web界面 pip install gradio # 安装 modelscope可选另一种模型加载方式 # pip install modelscope这里有个关键点transformers的版本不能太低必须支持ChatGLM2模型。cpm_kernels是ChatGLM系列模型用于高效激活函数计算的核函数库必须安装。3.3 模型下载与准备VisualGLM-6B的模型权重可以从多个源下载。最直接的方式是从Hugging Face Hub拉取。由于模型较大约12GB请确保网络通畅。# 这是一个预检查脚本可以放在下载前运行 from transformers import AutoTokenizer, AutoModel import torch # 这只是测试transformers能否正常导入相关类实际加载在下一步 print(环境检查通过可以开始加载模型。)实际加载模型我们会在下一节进行。如果你身处国内从Hugging Face下载可能较慢可以考虑从清华云或ModelScope镜像下载。很多国内教程会提供网盘链接但请注意文件完整性最好能校验SHA256值。实操心得在开始下载巨大的模型文件前先在一个小的脚本里测试transformers和torch是否能正常导入并测试CUDA是否可用torch.cuda.is_available()可以避免下载完成后才发现环境有问题的尴尬。另外建议将模型缓存到一个空间充足的SSD硬盘上机械硬盘的读取可能会成为推理速度的瓶颈。4. 模型加载与初次对话环境就绪模型也下载好了现在让我们来点亮这个多模态模型进行第一次“视觉对话”。4.1 使用Transformers库加载模型这是最标准、最推荐的方式。Hugging Face的transformers库提供了统一的接口。from transformers import AutoTokenizer, AutoModel from PIL import Image import torch import warnings warnings.filterwarnings(ignore) # 指定模型路径。如果是本地路径就换成你的路径。 # 这里使用Hugging Face上的模型ID model_path THUDM/visualglm-6b # 加载tokenizer和model tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).half().cuda() # 使用.half()将模型转换为半精度float16可以显著减少显存占用并提升速度。 # .cuda()将模型加载到GPU上。 model model.eval() # 设置为评估模式关键参数解析trust_remote_codeTrue: 这个参数至关重要。因为VisualGLM/ChatGLM的模型实现不在transformers库的原生支持列表中其模型定义代码存储在仓库里。这个参数允许从远程仓库下载并执行模型代码必须设置为True。.half(): 将模型参数从默认的float32转换为float16半精度。这是在不明显损失精度的情况下降低显存消耗和加快计算速度的最有效方法之一。对于6B模型这通常能将显存需求从约12GB降到约6GB。.cuda(): 将模型加载到GPU显存中。如果你的显存不足6GB可能会加载失败。后续我们会讨论量化等优化方法。4.2 准备第一张图片和对话让我们找一张简单的图片来测试。你可以准备一张包含猫、狗或者风景的图片。# 1. 加载图片 image_path path/to/your/test_image.jpg # 替换成你的图片路径 image Image.open(image_path).convert(RGB) # 确保是RGB三通道 # 2. 构建对话历史对于初次对话历史为空 history [] # 3. 构建提示词。VisualGLM-6B使用了一种特定的格式。 # 通常我们会在用户消息中通过[Round 1]\n\n问[图片]\n描述这张图片。这样的格式来插入图片。 # 但更简单的方式是使用模型提供的chat接口。 query 描述这张图片。4.3 执行多模态推理使用模型提供的chat方法进行推理。response, updated_history model.chat( tokenizertokenizer, queryquery, imageimage, # 传入PIL Image对象 historyhistory, max_length2048, # 生成的最大长度 top_p0.7, # 核采样参数影响生成多样性 temperature0.95 # 温度参数影响随机性 ) print(模型回复, response)如果一切顺利你将看到模型对图片的描述。例如对于一张猫的图片它可能会回复“图片中有一只猫它看起来是橘色的正躺在一个沙发上。”参数调整心得max_length: 控制生成回复的最大token数。设得太短可能回复不完整太长则浪费计算资源且可能生成无关内容。2048对于大多数对话已足够。top_p(nucleus sampling): 值越高接近1生成时选择的词库范围越广回复可能更多样、更有创意但也可能更不稳定。值越低如0.5生成会更集中于概率最高的几个词回复更确定、更保守。0.7是一个平衡点。temperature: 温度。值越高如1.0生成越随机、越“天马行空”值越低如0.1生成越确定、越倾向于最高概率的词。0.95提供了一个不错的创造性。初次测试时如果回复奇怪可以尝试将temperature调低如0.8top_p调低如0.5让输出更稳定。5. 构建交互式对话系统单次问答不过瘾我们需要一个能进行多轮对话的系统。同时一个图形化界面GUI能极大提升体验和演示效果。这里我们用Gradio来快速搭建一个Web应用。5.1 实现多轮对话逻辑模型的chat方法已经考虑了历史记录。我们需要做的就是维护一个history列表并在每轮对话后更新它。class VisualGLMChatBot: def __init__(self, model_pathTHUDM/visualglm-6b): self.tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) self.model AutoModel.from_pretrained(model_path, trust_remote_codeTrue).half().cuda() self.model.eval() self.history [] def reset_history(self): 清空对话历史 self.history [] return 历史已清空。 def chat(self, image, query): 核心对话函数 :param image: PIL.Image对象可以为None纯文本对话 :param query: 用户输入的文本 :return: 模型的回复 if image is not None and not isinstance(image, Image.Image): # 如果Gradio传入的是numpy数组需转换 image Image.fromarray(image) try: response, self.history self.model.chat( self.tokenizer, queryquery, imageimage, historyself.history, max_length2048, top_p0.7, temperature0.95 ) return response except Exception as e: return f生成回复时出错{str(e)} # 初始化机器人 bot VisualGLMChatBot()5.2 使用Gradio创建Web界面Gradio能让我们用几十行代码就做出一个功能完整的Web应用。import gradio as gr def predict(image, input_text, chatbot_state): Gradio交互函数 :param image: 上传的图片 :param input_text: 用户输入框的文本 :param chatbot_state: 用于存储对话历史的Gradio状态 :return: 更新后的聊天历史清空后的输入框 if chatbot_state is None: chatbot_state [] # 将用户消息加入历史显示用 if image is not None: # 对于图片我们可以在聊天记录里用一个缩略图或文字表示 chatbot_state.append(((image,), input_text)) else: chatbot_state.append((None, input_text)) # 调用模型 response bot.chat(image, input_text) # 将模型回复加入历史 chatbot_state.append((None, response)) return chatbot_state, , None # 返回历史、清空输入框、清空图片 def clear_history(): 清空历史回调 bot.reset_history() return [] # 构建界面 with gr.Blocks(titleVisualGLM-6B 多模态对话助手, themegr.themes.Soft()) as demo: gr.Markdown(# ️ VisualGLM-6B 多模态对话助手) gr.Markdown(上传一张图片然后输入问题。模型可以结合图片内容进行对话。) with gr.Row(): with gr.Column(scale1): image_input gr.Image(typepil, label上传图片可选) input_text gr.Textbox(label输入你的问题, placeholder例如描述这张图片。, lines3) submit_btn gr.Button(发送, variantprimary) clear_btn gr.Button(清空历史) with gr.Column(scale2): chatbot gr.Chatbot(label对话历史, height500) state gr.State() # 用于存储内部对话状态 # 绑定事件 submit_btn.click( fnpredict, inputs[image_input, input_text, state], outputs[chatbot, input_text, image_input] ) # 回车键也触发发送 input_text.submit( fnpredict, inputs[image_input, input_text, state], outputs[chatbot, input_text, image_input] ) clear_btn.click(fnclear_history, outputs[chatbot]) # 启动应用shareTrue可生成临时公网链接 demo.launch(server_name0.0.0.0, server_port7860, shareFalse)运行这段代码在浏览器中打开http://localhost:7860你就能看到一个简洁的聊天界面。你可以上传图片并提问对话历史会滚动显示。注意事项Gradio的Chatbot组件默认不支持直接显示图片。上面的代码将图片作为用户消息的一部分元组存储但Gradio可能无法渲染。一个更常见的做法是当有图片时在用户消息文本前加上[图片]的标识或者使用gr.Gallery组件单独显示历史图片。这里为了简化先以文本标识处理。如果需要更精美的界面可以进一步自定义Chatbot的HTML模板。6. 性能优化与加速技巧VisualGLM-6B在消费级显卡上运行速度可能并不理想尤其是生成较长文本时。另外显存不足也是常见问题。下面介绍几种实用的优化方法。6.1 模型量化4比特与8比特加载量化是将模型权重从高精度如float16转换为低精度如int8, int4的过程能大幅减少显存占用和提升推理速度但会轻微损失精度。使用bitsandbytes进行8比特量化from transformers import BitsAndBytesConfig import torch # 配置4比特量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, # 使用4比特量化加载 bnb_4bit_compute_dtypetorch.float16, # 计算时使用float16 bnb_4bit_use_double_quantTrue, # 使用双重量化进一步压缩 bnb_4bit_quant_typenf4, # 量化类型nf4是推荐的新格式 ) model AutoModel.from_pretrained( model_path, trust_remote_codeTrue, quantization_configbnb_config, # 传入量化配置 device_mapauto # 自动分配模型层到可用设备GPU/CPU )使用4比特量化后模型显存占用可能从12GBFP16降低到3-4GB左右使得在RTX 306012G甚至更小的显卡上运行成为可能。device_mapauto会让transformers自动将模型不同层分配到GPU和CPU上充分利用资源。注意事项量化需要安装bitsandbytes库pip install bitsandbytes。在Windows上安装可能比较麻烦可能需要从源码编译或寻找预编译的wheel。量化模型在加载时可能会慢一些因为需要解量化。但推理速度会有提升。精度损失是存在的对于某些复杂任务如细节描述、推理回复质量可能略有下降但对于大多数对话场景影响不大。6.2 使用vLLM或TGI进行高性能推理如果你追求极致的推理速度Tokens per Second尤其是在需要高并发API服务的场景下可以考虑使用专门的推理服务器如vLLM或Text Generation Inference (TGI)。这些框架采用了PagedAttention等高级优化技术能极大优化显存利用和生成速度。不过它们对模型的支持有要求可能需要将VisualGLM转换为它们支持的格式如AWQ量化格式配置过程相对复杂。这里简要提一下思路模型转换 使用autoawq等工具将VisualGLM-6B转换为AWQ量化格式。部署vLLM服务器pip install vllm python -m vllm.entrypoints.openai.api_server \ --model THUDM/visualglm-6b \ --served-model-name visualglm-6b \ --max-model-len 2048 \ --quantization awq # 如果使用了AWQ量化客户端调用 服务器会提供OpenAI兼容的API接口你可以像调用ChatGPT API一样调用它。这对于生产环境是很好的选择但入门门槛较高。初次体验建议先用transformers。6.3 提示词工程优化模型的输出质量很大程度上取决于你的输入。对于多模态模型提示词Prompt同样关键。基础提示词技巧明确指令 不要只说“看这张图”。要说“详细描述这张图片中的场景、人物和他们的动作。”或者“根据这张图表总结前三项关键数据。”角色扮演 “假设你是一位专业的摄影师从构图、光线和色彩的角度评价这张照片。”分步思考 对于复杂问题可以引导模型思考。“首先识别图片中的主要物体。然后描述它们之间的关系。最后推断这张图片可能拍摄于什么季节。”VisualGLM-6B的特殊格式 虽然我们用了封装好的chat接口但了解其底层提示格式有助于调试。其原始格式类似于[Round 1] 问[图片]这是一张什么类型的图片 答模型在训练时被灌输了这种格式。如果你直接使用tokenizer和model.generate()可能需要手动构造这样的序列。chat接口帮我们自动处理了这些。一个高级技巧Few-shot Prompting。在历史记录history中先给模型提供一两个“示例对话”告诉它你期望的回答格式和深度。这能显著提升模型在特定任务上的表现。7. 常见问题排查与实战心得在实际部署和玩耍VisualGLM-6B的过程中你几乎一定会遇到下面这些问题。我把它们和解决方案整理出来希望能帮你节省大量时间。7.1 显存不足CUDA Out Of Memory这是最常见的问题。症状 加载模型或生成文本时程序崩溃提示RuntimeError: CUDA out of memory。解决方案启用量化 如上所述使用4比特或8比特量化是解决显存问题最有效的方法。减少批次大小和生成长度 如果你在批量处理图片确保batch_size1。将max_length参数调小比如1024。使用CPU卸载 如果显存实在太小可以将部分模型层卸载到CPU内存。transformers的device_mapauto会尝试自动做这件事但你可以手动指定更精细的策略需要accelerate库。清理缓存 在PyTorch中使用torch.cuda.empty_cache()可以释放未使用的显存缓存。在长时间运行或处理多张图片后调用一下。升级硬件 终极方案。RTX 3090/409024G是相对舒适的选择。7.2 模型回复质量差或胡言乱语症状 回复不相关、重复、或者出现乱码。排查步骤检查输入图片 模型对图片分辨率敏感。确保图片不是损坏的并且经过PIL.Image.open().convert(RGB)处理。过于模糊或信息量极少的图片可能导致模型困惑。调整生成参数 首要任务是降低temperature如0.2和top_p如0.5减少随机性。如果问题依旧尝试降低repetition_penalty如果接口提供来避免重复。检查提示词 提示词是否清晰、无歧义对于中文模型尽量使用清晰的中文提示。尝试换一种问法。确认模型加载正确 确保没有混合使用不同版本的tokenizer和model。量化可能会引入噪声尝试不使用量化加载看看问题是否依然存在排除量化导致的精度损失。历史记录污染 在多轮对话中过长的、包含错误信息的history可能会把对话带偏。尝试清空历史重新开始。7.3 加载模型时报错TrustRemoteCode或模块找不到症状ValueError: ... requires you to execute the code in ...或ModuleNotFoundError: No module named ...。解决方案确保transformers版本足够高4.23.1。确保trust_remote_codeTrue参数已经加上。这个错误通常是因为模型仓库里的自定义代码依赖了一些额外包。根据错误提示安装缺失的包例如pip install icetkChatGLM的分词器可能用到。如果网络问题导致远程代码下载失败可以尝试先将模型仓库git clone到本地然后从本地路径加载并设置trust_remote_codeTrue。7.4 推理速度太慢症状 生成一句回复需要十几秒甚至更久。优化方向使用半精度 确保模型使用了.half()。启用CUDA Graph如果支持 一些推理框架支持CUDA Graph来捕获和重放核函数减少启动开销。transformers本身对它的支持有限但在vLLM等框架中效果显著。升级硬件和驱动 确保CUDA、cuDNN版本与PyTorch匹配且为最新稳定版。批处理 如果有大量图片需要处理尽量批量化输入而不是单张循环。但这需要更大的显存。7.5 实战心得它擅长什么不擅长什么经过大量测试我对VisualGLM-6B的能力边界有了些感性认识它做得不错的通用物体和场景描述 识别猫、狗、汽车、街道、办公室等常见元素并给出基本描述。简单关系理解 “左边的杯子在电脑旁边”这类空间关系。基于图片的简单问答 “图片里有几个人”、“天气怎么样”中文对话流畅度 得益于ChatGLM2-6B的底座其文本生成部分的中文流畅性和逻辑性相当好。它的短板细节和文字识别 对图片中的细小文字如路牌、书名识别能力很弱甚至完全忽略。这不是它的设计目标。复杂推理和计数 对于“图片里有几只鸟”如果鸟又多又小它经常数错。专业领域图像 医学影像、工程图纸、复杂的科学图表等内容它的理解非常表面甚至可能胡说八道。审美和主观评价 让它评价一幅画“美不美”回答往往很模板化缺乏深度见解。多图关联 它一次只能处理一张图片无法理解多张图片之间的关联或序列。理解这些边界非常重要。不要把它当成一个全能的“视觉天才”而是把它看作一个“具备了基础视觉常识的文本对话专家”。在它的能力范围内使用你会获得不错的体验用它处理超出范围的任务则难免失望。8. 进阶应用与扩展思路跑通基础对话只是第一步。VisualGLM-6B作为一个开源基座有很多可以玩和可以改进的地方。8.1 领域适配微调Fine-tuning如果你想让VisualGLM-6B精通某个特定领域比如识别电商产品图、分析医学影像报告截图就需要用你领域的数据对它进行微调。由于全参数微调成本极高通常采用LoRA或QLoRA等参数高效微调方法。这些方法只训练模型中的一小部分附加参数低秩适配器效果接近全参数微调但成本低得多。微调的基本步骤准备数据 收集图像指令输出三元组。例如商品图“详细描述这件商品的特点和适用场景。” “这是一件蓝色纯棉T恤...”。选择微调框架 使用PEFTParameter-Efficient Fine-Tuning库它内置了LoRA等实现。编写训练脚本 冻结视觉编码器和语言模型的大部分参数只对连接层和LoRA适配器进行训练。训练与评估 在GPU上进行训练并在验证集上评估效果。这个过程需要一定的机器学习工程经验但网上已有不少基于ChatGLM2-6B的LoRA微调教程其思路完全可以迁移到VisualGLM-6B上。8.2 集成到现有系统打造智能客服或内容审核助手将VisualGLM-6B封装成一个API服务就能集成到各种应用中。智能客服 用户上传产品故障图片机器人结合图片和文字描述提供初步的故障排查步骤。内容审核辅助 自动识别用户上传图片中的违规内容如暴力、血腥、敏感标识并生成审核理由辅助人工审核。教育工具 学生上传物理实验装置图或数学几何题图机器人引导其思考解题步骤。技术实现 你可以用FastAPI或Flask将上面的Gradio应用背后的逻辑包装成RESTful API。from fastapi import FastAPI, File, UploadFile, Form from PIL import Image import io app FastAPI() chatbot VisualGLMChatBot() # 复用之前的类 app.post(/chat/) async def visual_chat(image: UploadFile File(None), query: str Form(...)): image_obj None if image: contents await image.read() image_obj Image.open(io.BytesIO(contents)).convert(RGB) response chatbot.chat(image_obj, query) return {response: response} app.post(/reset/) async def reset(): chatbot.reset_history() return {status: history cleared}这样前端应用网页、小程序、APP就可以通过调用这个API来实现多模态对话功能。8.3 探索模型局限性并贡献作为开源项目VisualGLM-6B也在不断进化。你在使用中发现的任何问题比如对某类图片的误解、奇怪的回复模式都可以在GitHub仓库的Issues区反馈。如果你有能力甚至可以研究问题根源尝试修复并提交Pull Request。例如你可以构建更高质量的中文评测集 目前多模态评测基准如VQAv2多以英文为主构建中文的评测数据对社区很有价值。尝试新的连接层结构 研究不同的投影网络是否能带来更好的视觉-语言对齐。探索训练技巧 尝试用更高质量或更多样化的数据微调连接层提升模型表现。VisualGLM-6B不仅仅是一个拿来即用的工具它更是一个绝佳的学习和研究平台。通过它你可以深入理解多模态模型的技术细节甚至为其发展做出自己的贡献。从入门到精通再到创新这条路充满了挑战但也正是其魅力所在。
