许多开发者已经习惯用 DeepSeek 处理各种文本任务写摘要、改代码、做问答、整理日志几乎无所不能。但一旦遇到图片情况就变得尴尬用户发来一张合同截图里面有重要条款客户传来一张错误日志的截图你希望让模型帮你排查同事发来一张手绘的流程图你希望快速把它转成文字说明。这些场景都需要模型“看懂”图片而 DeepSeek 目前是一款纯文本模型它看不到图片。你可能会想那就等官方支持多模态但现实项目不会等你。更务实的思路是先给 DeepSeek 安一双“眼睛”让它通过外部工具把图片内容变成文本再继续发挥它强大的文本理解和生成能力。这种不改变模型本身、通过外部模块获得视觉输入的方案正是当前社区里讨论度很高的“伪多模态”路线。本文就从实践角度把这个方案讲透。你会理解为什么叫“伪多模态”会看到一条完整的落地路径环境怎么搭、代码怎么写、结果怎么验证、常见坑怎么避。读完之后你完全可以在本地搭建一个 DeepSeek 识图工具把截图、照片、扫描件里的信息转换成 DeepSeek 可理解的文本输入。这不只是一个技术玩具对很多自动化办公、信息提取、内容归档类项目来说它就是一块实用的拼图。1. 这篇文章真正要解决的问题先给这篇文章定一个清晰的边界。我们不是在训练一个多模态模型也不是在微调 DeepSeek而是解决一个更实际的问题如何让 DeepSeek 处理图片输入。推演一下你可能会遇到的真实诉求。假设你正在做一个合同审核小工具历史合同是 PDF 里的扫描图片你需要自动提取甲方、乙方、金额、签约日期等关键字段。这类任务通常分两步第一步是 OCR把图片中的文字识别出来第二步是调用 DeepSeek对文本做结构化抽取。如果你指望 DeepSeek 直接识别扫描图片现阶段是做不到的但 OCR 完全可以补足这一环。再比如你有一个客服工单系统用户上传了产品故障照片照片上有设备型号、错误码。传统做法是人肉盯着屏幕敲字录入。如果你给 DeepSeek 加上“眼睛”就可以让 OCR 先读出设备型号和错误码再让 DeepSeek 自动匹配常见故障解决方案。虽然流程多了一个环节但整个自动化链路是通的效果也能达到生产可用。这篇文章最想解决的痛点有三类第一图文分离的问题。大量信息以图片形式存在而 DeepSeek 只能处理 text两边对不上。第二方案选型困惑。有人想等官方多模态有人想换闭源多模态模型但其实在当前节点用“外部视觉模块 DeepSeek”组合是投入产出比最高的方案。第三缺少可直接运行的工程参考。网上的片段代码很多但真正能跑通、能处理异常、能落地到项目里的全流程示例不多。所以本文适合这几类读者正在做文档自动化、知识库问答、办公信息提取的开发者想把 DeepSeek 接入机器人或内部工具、但困于图片输入的工程师以及对多模态技术有兴趣想快速体验“伪多模态”方案的技术爱好者。2. 基础概念多模态、伪多模态与 OCR“多模态”这个词在很多技术文章里频繁出现但理解起来并不困难。它指的是模型能够同时理解多种类型的信息比如文本、图片、音频、视频。真正的多模态模型比如常见的 GPT-4V、Qwen-VL 这类模型可以直接把图片像素输入给模型模型在内部完成视觉特征和文本语义的对齐最终输出文字答案。DeepSeek 目前并非原生多模态模型官方接口主要接收文本输入。如果你想让它处理图片就必须先有一个“翻译层”把图片翻译成文字。这个过程不改变 DeepSeek 本身只是在它前面增加一个视觉理解模块。社区把这种方案叫做“伪多模态”本质上是一种功能补齐。“伪”字听起来好像不太好但它恰恰是这个方案的最大优势不需要训练模型不需要改造模型结构只需要把现成的视觉能力模块和 DeepSeek 串起来就能快速实现图像输入到文本输出的完整链路。对于大多数业务场景它的效果足够好而且迭代成本低。那么这个“翻译层”具体指什么最基础也最常用的是 OCROptical Character Recognition光学字符识别。OCR 专门负责从图片中提取文字信息比如身份证号、发票金额、截图里的文本。如果图片里只有印刷体文字OCR 的准确率已经非常高。但 OCR 并不是万能的。它只能识别“文字”不能理解“图中有什么物体、人的动作是什么、场景是什么”。如果用户上传的是一张产品照片你需要知道照片里是哪个型号、大概什么形状单纯 OCR 就无能为力了。这时可以引入视觉语言模型VLM来描述图片内容比如先用一个轻量级视觉模型生成“图片中有一个黑色路由器正面有三个指示灯”再把这个描述交给 DeepSeek 做后续推理。所以伪多模态有两种常见形态第一种只做 OCR DeepSeek适合处理文字类图片。第二种视觉模型 DeepSeek适合处理需要理解场景的图片。从实现成本来看OCR 方案门槛最低本地跑一个开源 OCR 模型就能解决。视觉模型方案稍重一些通常需要调用额外的 API 或在本地部署小参数视觉模型。下面这张表格可以帮你快速做选型对比维度真正的多模态模型伪多模态OCR 路线伪多模态视觉模型路线模型输入直接输入图片和文本图片先转文字再输入文本图片先转描述再输入文本需要额外模块不需要OCR 引擎视觉语言模型处理文字类图片能力强能力很强一般取决于模型处理场景类图片能力强基本不能用能力较强成本与复杂度取决于模型价格本地部署成本低需要额外模型或 API典型应用通用视觉问答文档提取、截图转写图像描述、视觉问答前置处理这张表的核心观点是伪多模态并不是“假的就不能用”而是“用组合的方式逼近真多模态的效果”。对大多数纯文本信息的图片OCR 路线已经够用对需要理解图片语义的场景视觉模型路线可以做补充。你在实际项目中完全可以两条路都留着根据输入类型动态选择。3. 环境准备与前置条件在动手写代码之前先把环境准备好。下面这些工具和依赖是基于当前主流方案的推荐具体版本请以实际发布为准本文演示的是通用安装思路。3.1 基础环境建议使用 Python 3.10 或更高版本。为什么推荐 3.10因为很多深度学习相关的 Python 包对 Python 3.8 以下版本的支持越来越差而 3.10 在兼容性和新特性之间比较平衡。我这台演示机用的是 macOS但实际上 Windows、Linux 同样适用PaddleOCR 和 OpenAI 兼容接口在这些平台上都有对应的安装方式。建议单独创建虚拟环境避免依赖冲突。如果你已经安装 conda可以直接执行conda create -n deepseek_vision python3.10 conda activate deepseek_vision如果用的是 venv命令如下python3 -m venv deepseek_vision source deepseek_vision/bin/activate # Windows 下是 deepseek_vision\Scripts\activate3.2 安装 OCR 依赖本文示例使用 PaddleOCR它是一款开源 OCR 工具支持中文、英文等多语言识别对中英文混排的截图和扫描件效果不错。安装命令如下pip install paddlepaddle paddleocr注意paddlepaddle 是 PaddleOCR 的底层计算库必须一起安装。如果你使用的是 Apple Silicon 芯片安装 paddlepaddle 时可能需要关注官方是否提供了对应平台的预编译包如果没有可以考虑用 CPU 版本速度慢一些但能跑通。安装完成后第一次运行 PaddleOCR 时它会自动下载并加载模型所以首次调用会比较慢这是正常现象。如果你是离线环境需要提前下载模型文件并放到指定缓存目录否则会报网络错误。3.3 安装 DeepSeek API 调用依赖DeepSeek 提供了 OpenAI 兼容接口所以我们可以直接使用openai这个 Python 包来调用。安装命令pip install openai同时你需要到 DeepSeek 开放平台申请一个 API Key。不同平台的地址可能不同请以 DeepSeek 官方文档为准。获取之后把 Key 存在安全的地方最好用环境变量引用不要硬编码在代码里。export DEEPSEEK_API_KEY你的密钥如果你的 DeepSeek 服务不是 OpenAI 兼容接口或者 base_url 与示例不一致请查阅你使用的平台文档调整对应参数即可。3.4 准备测试图片准备两张测试图片一张是含文字的截图比如一段网页文章截图另一张是含有设备信息的照片用于后面的扩展测试。图片不需要太大几百 KB 到几 MB 之间即可。如果图片过大建议先用工具压缩因为 OCR 对大图处理更慢。到这里环境已经准备完成。你可以先跑一个最小验证确认 openai 库能正常导入python -c from openai import OpenAI; print(openai ok)4. 核心流程拆解把“给 DeepSeek 安上眼睛”这件事拆开看核心流程只有六步。每一步都不复杂但组合在一起需要把数据格式对齐清楚。4.1 图片输入与读取第一步是接收图片路径。无论是本地文件还是上传的文件最终都要得到一个可被 OCR 处理的图片地址。在自动化服务里这一步通常会跟文件上传、数据库存储配合。要注意的是图片格式最好统一处理。PaddleOCR 对常见格式如 png、jpg、jpeg、bmp 都支持但要求图片文件本身没有被损坏。如果遇到 pdf 扫描件通常做法是先转成图片再进入 OCR 流程。4.2 图片预处理预处理不是必须的但在真实场景里非常有用。常见的预处理操作包括调整图片亮度、对比度、灰度化、二值化、旋转校正。OCR 对清晰度敏感一张模糊的照片和一页清晰的扫描件识别率差异很大。在代码演示阶段我们直接使用原始图片不添加复杂预处理方便看清楚流程。在工程化阶段我会在第 8 章讲如何根据图片质量选择合适的预处理策略。4.3 OCR 识别文字这一步是整个流程中最关键的一环。OCR 引擎读取图片返回识别出的文字块每个文字块通常包含置信度和识别文本。我们只需要把文本提取出来拼接成一段连续的文字。这一步有一个容易忽略的细节OCR 的识别结果通常是按检测框排列的不一定是阅读顺序。PaddleOCR 在多数情况下会尽量按从上到下、从左到右输出但遇到复杂排版时顺序可能不对。如果后续交给 DeepSeek 做严格结构化抽取顺序问题可能导致逻辑混乱。稳妥的做法是让 DeepSeek 尽量通过语义理解重建顺序或者对结果做一次后处理排序。4.4 构造 DeepSeek PromptOCR 得到的文本需要放进一个合理的 Prompt 中。不要直接把识别文本丢给模型而是告诉模型“这是从一张图片里提取的文字”并要求它做特定任务比如“提取合同关键字段”、“生成一段摘要”、“帮我解释这个错误码”。Prompt 的质量直接影响输出效果。好的 Prompt 应该包含三部分角色或任务说明、上下文信息、输出格式要求。比如你是一名信息整理助手。下面是从一张图片中提取出的原始文字可能包含乱序或识别错误。 请仔细阅读并对文字进行修正然后提取关键信息。 输出格式键值对形式每行一个字段。相比直接问“这段文字讲了什么”这种结构化指令会稳定得多。4.5 调用 DeepSeek 接口把构造好的 Prompt 作为用户消息发给 DeepSeek。这里使用的是 OpenAI 兼容接口所以消息格式为messages数组。注意不要把 OCR 原始文本放在 system 角色里因为 system 通常用于定义模型行为用户输入应该放在 user 角色。在调用时可以根据任务难度设置温度参数。对于信息提取类任务建议温度调低到 0.2 或 0.3让模型输出更保守对于创意生成类任务温度可以调高到 0.7 以上。4.6 返回结构化结果最后把 DeepSeek 返回的内容返回给上层。如果是命令行工具直接打印如果是 Web 服务转成 JSON。要特别说明的是不要让用户直接看到中间 OCR 结果而是把模型最终输出的内容呈现给用户这样体验更像是在使用一个多模态模型。整体流程可以用一个简化流程来描述图片 - OCR 引擎 - 原始文本 - Prompt 构造 - DeepSeek - 最终结果这个流程之所以被称为“伪多模态”是因为图片信息在进入 DeepSeek 之前已经被转换成了文本形态。模型并不知道它处理的内容来自图片它只看到了一段文字。但对外部使用者来说效果就是“我传了一张图片模型给出了回答”。5. 完整示例代码实现下面给出三个代码示例从简到繁你可以按需复制。5.1 示例一直接调用 DeepSeek API先跑通 DeepSeek API 调用确保密钥和网络环境正常。from openai import OpenAI # 请替换为你的 DeepSeek API Key client OpenAI( api_keyYOUR_API_KEY, base_urlhttps://api.deepseek.com/v1 # 如果地址不同请以官方文档为准 ) def ask_deepseek(prompt: str, model: str deepseek-chat) - str: resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.3, ) return resp.choices[0].message.content.strip() if __name__ __main__: text ask_deepseek(用一个比喻解释什么是伪多模态。) print(text)这段代码的核心在client.chat.completions.create部分。只要你的 DeepSeek 服务兼容 OpenAI 接口这个写法可以直接使用。base_url的关键在于替换成你实际部署的服务地址如果使用 DeepSeek 开放平台请查阅官方文档获取准确地址。5.2 示例二使用 PaddleOCR 识别图片文字这个示例单独演示 OCR 能力不依赖 DeepSeek。from paddleocr import PaddleOCR def ocr_image(image_path: str, lang: str ch) - str: ocr PaddleOCR(use_angle_clsTrue, langlang, show_logFalse) result ocr.ocr(image_path, clsTrue) lines [] if result: for page in result: if not page: continue for item in page: lines.append(item[1][0]) return \n.join(lines) if __name__ __main__: text ocr_image(demo.png) print(text)运行前你需要确认demo.png存在于当前目录。如果图片中包含中文lang参数使用ch如果主要识别英文可以把lang改成en。需要留意的一点是PaddleOCR 不同版本返回结果的结构可能不同。上面代码基于常见的 2.x 版本输出格式。如果你在运行中发现item[1][0]报错可以先取消show_logFalse打印原始result查看实际数据结构再调整解析代码。5.3 示例三完整的 DeepSeek 识图集成脚本把 OCR 和 DeepSeek 串起来实现“传入图片输出摘要或结构化信息”。import sys from openai import OpenAI from paddleocr import PaddleOCR client OpenAI( api_keyYOUR_API_KEY, base_urlhttps://api.deepseek.com/v1 ) def ocr_image(ocr: PaddleOCR, image_path: str) - str: result ocr.ocr(image_path, clsTrue) lines [] if result: for page in result: if not page: continue for item in page: lines.append(item[1][0]) return \n.join(lines) def ask_deepseek(prompt: str, model: str deepseek-chat) - str: resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.3, ) return resp.choices[0].message.content.strip() def image_to_summary(image_path: str) - str: ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) raw_text ocr_image(ocr, image_path) prompt ( 下面是从一张图片中提取出来的文字内容可能包含识别错误或排版异常。\n 请先对文字进行必要修正然后按照以下要求输出\n 1. 用 3-5 句话概括这张图片的核心内容\n 2. 如果包含数字、型号、金额请单独列出\n 3. 输出格式为 Markdown 无序列表。\n\n f图片文字内容如下\n{raw_text} ) return ask_deepseek(prompt) if __name__ __main__: if len(sys.argv) 1: result image_to_summary(sys.argv[1]) print(result) else: print(请传入图片路径例如python deepseek_vision.py demo.png)运行方式python deepseek_vision.py demo.png这个脚本虽然简单但已经是一个可用的最小闭环识别图片文字、构造 Prompt、调用 DeepSeek、输出结构化回答。你可以在此基础上扩展成 Web API、命令行工具或者批量处理脚本。6. 运行结果与效果验证用一张包含文字信息的截图跑一下示例三。假设图片里是一段新闻文本截图预期输出应该是类似这样的结果- 该图片是一段关于人工智能发展的新闻摘要。 - 核心内容包括AI 模型在医疗影像诊断中的应用。 - 提到了目前准确率超过 90%。 - 涉及的机构包括某大学附属医院。如果你的输出和图片内容基本吻合说明整个链路已经跑通。如果输出结果为空或明显偏离图片内容先按下面的思路排查。第一步检查 OCR 是否成功。单独运行示例二看能否打印出图片里的文字。如果 OCR 输出为空说明问题出在识别环节而不是 DeepSeek 环节。第二步检查 Prompt 是否合理。把示例三中的raw_text打印出来直接粘贴到 DeepSeek 对话窗里看模型能否给出合理回答。如果 DeepSeek 在对话窗里表现很好但在脚本中表现很差那大概是 Prompt 没有正确传给模型或者温度参数不合适。第三步检查 API 返回状态。在ask_deepseek函数中打印原始返回对象看看是否有限流提示、鉴权失败或上下文超长错误。DeepSeek 的上下文长度是有限的如果 OCR 识别出的文本太长超过模型的上下文窗口应该做截断或分段处理。第四步检查图片质量。如果图片分辨率太低或者文字区域模糊画质是 OCR 失灵的主要原因。你可以先用图片编辑工具放大图片再重新测试。一个重要的验证维度是“伪多模态”体验是否达标。当你运行完整脚本时用户只输入图片路径最终直接得到 DeepSeek 的回答不需要手动复制粘贴文字。从用户视角看DeepSeek 确实“看见”了图片这就是我们想要的效果。7. 常见问题与排查思路实操过程中大家最容易踩的坑集中在环境安装、接口调用、识别质量这几个方面。我把高频问题整理成一张排查表你可以直接对照处理。问题现象可能原因排查方式解决方案PaddleOCR 安装失败依赖冲突或缺少编译环境查看 pip 报错检查 Python 版本使用 Python 3.10 虚拟环境安装兼容版本首次运行 OCR 非常慢正在下载模型文件查看控制台日志保持网络畅通或提前下载模型到缓存目录OCR 识别结果为空图片中没有文字或图片质量太差用图片工具打开原图确认视觉内容预处理增强图片切换语言包OCR 结果顺序混乱复杂排版检测框顺序不正确打印每条文字块的坐标信息按坐标排序或让 DeepSeek 根据语义重排DeepSeek API 返回 401API Key 错误或已失效检查环境变量和代码中的密钥重新获取 Key 并确认没有空格或换行请求超时网络问题或服务繁忙查看 API 响应状态增加退避重试机制使用更小的图片输出内容不准确OCR 错误被模型直接接受检查中间文本质量在 Prompt 中要求模型识别并修正 OCR 错误图片包含敏感信息隐私数据发送至外部 API检查项目合规要求优先本地 OCR避免上传含敏感信息的图片其中最容易忽略的是“隐私安全”问题。如果图片中包含身份证、合同金额、内部系统截图等敏感信息你把这些图片发送给外部模型 API会存在数据泄露风险。稳妥的做法是先做一次本地 OCR把识别结果脱敏后再调用外部模型。如果条件允许可以考虑本地部署一个较小的模型来处理敏感数据保证数据不出内网。另一个高频问题是上下文长度。OCR 结果常常是一大段文本长时间输出时可能出现超出模型最大上下文的情况。一个简单策略是限制 OCR 文本长度例如只保留前 2000 个字符更复杂的策略是按段落拆分多次调用 DeepSeek 后合并结果。对于不同场景你要根据实际需求选择。8. 最佳实践与工程建议当脚本能跑通之后真正让它成为生产可用的能力还需要考虑下面这些工程细节。8.1 图片预处理OCR 对图片质量很敏感。在实际项目中建议对上传图片做一次预处理流水线统一调整为固定宽度、转为灰度图、提高对比度、必要时做二值化。比如对一张手机拍摄的文档照片比较常见的处理是先用 OpenCV 做边缘检测和透视变换把倾斜的内容校正成水平。虽然这会让代码量增加但对识别率的提升非常明显。8.2 视觉模型与 OCR 并存如果应用场景同时包含“文字识别”和“场景理解”建议同时接入 OCR 和一个视觉语言模型。比如用户上传一张产品照片既有产品外观又有包装上的文字说明此时判断逻辑可以这样设计如果 OCR 结果很丰富说明图片以文字为主走 OCR DeepSeek 路线如果 OCR 结果很少但用户需要知道图片内容则调用视觉模型生成描述再把描述交给 DeepSeek。这种动态分流策略会让整个系统的适用范围远大于单纯 OCR。8.3 打造更合适的 PromptPrompt 不是一句固定的话而是需要分层设计。在工程化实现中建议把 Prompt 模板单独抽离成配置文件方便在不同任务中切换。每个任务对应一套模板模板中包含系统指令、用户输入、输出格式约定。这样运维人员不用修改代码只改配置文件就能调整模型行为。对信息提取类任务给 DeepSeek 明确结构化的输出格式非常重要例如要求输出 JSON或者 Markdown 表格。这会大大降低后续解析成本。8.4 缓存与去重如果同一个图片被多次上传每次重复 OCR 和调用模型浪费时间和成本。建议用图片的哈希值作为缓存 key在数据库或内存中保存已处理的结果。当图片再次上传时直接返回缓存结果省去重复计算。对于实时性要求不高的场景可以再加一层异步队列后台批量处理图片前台先返回“处理中”状态。这种设计能避免大图片阻塞 Web 请求。8.5 安全与合规这是整个方案中最需要注意的部分。给 DeepSeek 增加识图能力意味着原本只处理文本的链路现在开始接收图片图片可能包含个人信息、商业机密甚至违法内容。你要确保用户上传图片前有明确告知并获得授权。图片传输过程使用 HTTPS 加密。敏感图片尽量在本地处理外部 API 只接收脱敏或过滤后的文本。所有 API 调用都要记录日志方便审计。遵守 DeepSeek 开放平台的服务条款不提交违反规定的内容。不要因为“只是接了一个 OCR”就忽略数据合规。很多生产事故并不是发生在核心算法上而是发生在数据流通过程中。8.6 容错与重试调用外部 API 时网络抖动和限流很难完全避免。建议在代码里加入指数退避重试机制第一次失败后等 1 秒重试第二次等 2 秒第三次等 4 秒最多重试 3 到 5 次。如果重试仍然失败再向上层抛出错误而不是让整个任务挂掉。同时要对“OCR 成功但识别文本为空”的情况进行防御。比如如果 OCR 返回文本长度小于 10 个字符直接提示用户“图片中未检测到有效文字”而不是继续调用 DeepSeek 返回毫无意义的结果。8.7 成本控制伪多模态方案的成本分为两部分OCR 本地计算资源和模型 API 调用费用。OCR 在本地跑主要消耗 CPU/GPU 和内存模型 API 按 token 计费。OCR 文本越长发送给模型的 token 越多费用越高。所以在满足需求的前提下控制 OCR 文本长度是降本的关键。一个常用技巧是只提取与任务相关的文字区域。比如项目只关心图片中的合同金额可以通过 OCR 检测到的关键词定位只把金额附近的文本发送给模型而不是全文发送。这样既提高了准确率也降低了 token 消耗。9. 总结与后续学习方向这篇文章的核心判断是DeepSeek 本身不会读图但通过外部 OCR 或视觉模型做一层文字转换完全可以补齐它的“视觉盲区”。这种伪多模态方案在生产环境里是可行且实用的尤其适合处理文字截图、扫描件、错误日志图片等场景。你已经掌握了完整的技术路径理解伪多模态与真实多模态的差异准备 Python 环境搭建 PaddleOCR DeepSeek 的调用链路并用一个最小脚本跑通“图片输入 - 文字提取 - 模型回答”的完整流程。这中间最影响效果的三个环节是OCR 的准确率、Prompt 的结构化程度、以及 API 调用时的稳定性和安全性。下一步你可以围绕这几个方向继续深入一是优化 OCR 预处理策略提升对低质量图片的识别率二是尝试接入一个开源视觉语言模型把“描述图片内容”和“提取图片文字”结合起来三是把脚本改造成 FastAPI 或 Flask 服务包装成对外的识图 API让其他系统通过 HTTP 调用。需要提醒的是不要满足于脚本能跑通。真实项目中你还需要考虑缓存、重试、日志、权限控制、敏感信息过滤这些工程细节。把最简单的 demo 变成稳定可靠的服务才是伪多模态方案真正落地的地方。建议你现在就找一张含文字的截图把示例代码跑起来记录下识别结果和问题再根据你自己的应用场景迭代优化。
伪多模态实战：用OCR给DeepSeek安上眼睛，实现图片识别
许多开发者已经习惯用 DeepSeek 处理各种文本任务写摘要、改代码、做问答、整理日志几乎无所不能。但一旦遇到图片情况就变得尴尬用户发来一张合同截图里面有重要条款客户传来一张错误日志的截图你希望让模型帮你排查同事发来一张手绘的流程图你希望快速把它转成文字说明。这些场景都需要模型“看懂”图片而 DeepSeek 目前是一款纯文本模型它看不到图片。你可能会想那就等官方支持多模态但现实项目不会等你。更务实的思路是先给 DeepSeek 安一双“眼睛”让它通过外部工具把图片内容变成文本再继续发挥它强大的文本理解和生成能力。这种不改变模型本身、通过外部模块获得视觉输入的方案正是当前社区里讨论度很高的“伪多模态”路线。本文就从实践角度把这个方案讲透。你会理解为什么叫“伪多模态”会看到一条完整的落地路径环境怎么搭、代码怎么写、结果怎么验证、常见坑怎么避。读完之后你完全可以在本地搭建一个 DeepSeek 识图工具把截图、照片、扫描件里的信息转换成 DeepSeek 可理解的文本输入。这不只是一个技术玩具对很多自动化办公、信息提取、内容归档类项目来说它就是一块实用的拼图。1. 这篇文章真正要解决的问题先给这篇文章定一个清晰的边界。我们不是在训练一个多模态模型也不是在微调 DeepSeek而是解决一个更实际的问题如何让 DeepSeek 处理图片输入。推演一下你可能会遇到的真实诉求。假设你正在做一个合同审核小工具历史合同是 PDF 里的扫描图片你需要自动提取甲方、乙方、金额、签约日期等关键字段。这类任务通常分两步第一步是 OCR把图片中的文字识别出来第二步是调用 DeepSeek对文本做结构化抽取。如果你指望 DeepSeek 直接识别扫描图片现阶段是做不到的但 OCR 完全可以补足这一环。再比如你有一个客服工单系统用户上传了产品故障照片照片上有设备型号、错误码。传统做法是人肉盯着屏幕敲字录入。如果你给 DeepSeek 加上“眼睛”就可以让 OCR 先读出设备型号和错误码再让 DeepSeek 自动匹配常见故障解决方案。虽然流程多了一个环节但整个自动化链路是通的效果也能达到生产可用。这篇文章最想解决的痛点有三类第一图文分离的问题。大量信息以图片形式存在而 DeepSeek 只能处理 text两边对不上。第二方案选型困惑。有人想等官方多模态有人想换闭源多模态模型但其实在当前节点用“外部视觉模块 DeepSeek”组合是投入产出比最高的方案。第三缺少可直接运行的工程参考。网上的片段代码很多但真正能跑通、能处理异常、能落地到项目里的全流程示例不多。所以本文适合这几类读者正在做文档自动化、知识库问答、办公信息提取的开发者想把 DeepSeek 接入机器人或内部工具、但困于图片输入的工程师以及对多模态技术有兴趣想快速体验“伪多模态”方案的技术爱好者。2. 基础概念多模态、伪多模态与 OCR“多模态”这个词在很多技术文章里频繁出现但理解起来并不困难。它指的是模型能够同时理解多种类型的信息比如文本、图片、音频、视频。真正的多模态模型比如常见的 GPT-4V、Qwen-VL 这类模型可以直接把图片像素输入给模型模型在内部完成视觉特征和文本语义的对齐最终输出文字答案。DeepSeek 目前并非原生多模态模型官方接口主要接收文本输入。如果你想让它处理图片就必须先有一个“翻译层”把图片翻译成文字。这个过程不改变 DeepSeek 本身只是在它前面增加一个视觉理解模块。社区把这种方案叫做“伪多模态”本质上是一种功能补齐。“伪”字听起来好像不太好但它恰恰是这个方案的最大优势不需要训练模型不需要改造模型结构只需要把现成的视觉能力模块和 DeepSeek 串起来就能快速实现图像输入到文本输出的完整链路。对于大多数业务场景它的效果足够好而且迭代成本低。那么这个“翻译层”具体指什么最基础也最常用的是 OCROptical Character Recognition光学字符识别。OCR 专门负责从图片中提取文字信息比如身份证号、发票金额、截图里的文本。如果图片里只有印刷体文字OCR 的准确率已经非常高。但 OCR 并不是万能的。它只能识别“文字”不能理解“图中有什么物体、人的动作是什么、场景是什么”。如果用户上传的是一张产品照片你需要知道照片里是哪个型号、大概什么形状单纯 OCR 就无能为力了。这时可以引入视觉语言模型VLM来描述图片内容比如先用一个轻量级视觉模型生成“图片中有一个黑色路由器正面有三个指示灯”再把这个描述交给 DeepSeek 做后续推理。所以伪多模态有两种常见形态第一种只做 OCR DeepSeek适合处理文字类图片。第二种视觉模型 DeepSeek适合处理需要理解场景的图片。从实现成本来看OCR 方案门槛最低本地跑一个开源 OCR 模型就能解决。视觉模型方案稍重一些通常需要调用额外的 API 或在本地部署小参数视觉模型。下面这张表格可以帮你快速做选型对比维度真正的多模态模型伪多模态OCR 路线伪多模态视觉模型路线模型输入直接输入图片和文本图片先转文字再输入文本图片先转描述再输入文本需要额外模块不需要OCR 引擎视觉语言模型处理文字类图片能力强能力很强一般取决于模型处理场景类图片能力强基本不能用能力较强成本与复杂度取决于模型价格本地部署成本低需要额外模型或 API典型应用通用视觉问答文档提取、截图转写图像描述、视觉问答前置处理这张表的核心观点是伪多模态并不是“假的就不能用”而是“用组合的方式逼近真多模态的效果”。对大多数纯文本信息的图片OCR 路线已经够用对需要理解图片语义的场景视觉模型路线可以做补充。你在实际项目中完全可以两条路都留着根据输入类型动态选择。3. 环境准备与前置条件在动手写代码之前先把环境准备好。下面这些工具和依赖是基于当前主流方案的推荐具体版本请以实际发布为准本文演示的是通用安装思路。3.1 基础环境建议使用 Python 3.10 或更高版本。为什么推荐 3.10因为很多深度学习相关的 Python 包对 Python 3.8 以下版本的支持越来越差而 3.10 在兼容性和新特性之间比较平衡。我这台演示机用的是 macOS但实际上 Windows、Linux 同样适用PaddleOCR 和 OpenAI 兼容接口在这些平台上都有对应的安装方式。建议单独创建虚拟环境避免依赖冲突。如果你已经安装 conda可以直接执行conda create -n deepseek_vision python3.10 conda activate deepseek_vision如果用的是 venv命令如下python3 -m venv deepseek_vision source deepseek_vision/bin/activate # Windows 下是 deepseek_vision\Scripts\activate3.2 安装 OCR 依赖本文示例使用 PaddleOCR它是一款开源 OCR 工具支持中文、英文等多语言识别对中英文混排的截图和扫描件效果不错。安装命令如下pip install paddlepaddle paddleocr注意paddlepaddle 是 PaddleOCR 的底层计算库必须一起安装。如果你使用的是 Apple Silicon 芯片安装 paddlepaddle 时可能需要关注官方是否提供了对应平台的预编译包如果没有可以考虑用 CPU 版本速度慢一些但能跑通。安装完成后第一次运行 PaddleOCR 时它会自动下载并加载模型所以首次调用会比较慢这是正常现象。如果你是离线环境需要提前下载模型文件并放到指定缓存目录否则会报网络错误。3.3 安装 DeepSeek API 调用依赖DeepSeek 提供了 OpenAI 兼容接口所以我们可以直接使用openai这个 Python 包来调用。安装命令pip install openai同时你需要到 DeepSeek 开放平台申请一个 API Key。不同平台的地址可能不同请以 DeepSeek 官方文档为准。获取之后把 Key 存在安全的地方最好用环境变量引用不要硬编码在代码里。export DEEPSEEK_API_KEY你的密钥如果你的 DeepSeek 服务不是 OpenAI 兼容接口或者 base_url 与示例不一致请查阅你使用的平台文档调整对应参数即可。3.4 准备测试图片准备两张测试图片一张是含文字的截图比如一段网页文章截图另一张是含有设备信息的照片用于后面的扩展测试。图片不需要太大几百 KB 到几 MB 之间即可。如果图片过大建议先用工具压缩因为 OCR 对大图处理更慢。到这里环境已经准备完成。你可以先跑一个最小验证确认 openai 库能正常导入python -c from openai import OpenAI; print(openai ok)4. 核心流程拆解把“给 DeepSeek 安上眼睛”这件事拆开看核心流程只有六步。每一步都不复杂但组合在一起需要把数据格式对齐清楚。4.1 图片输入与读取第一步是接收图片路径。无论是本地文件还是上传的文件最终都要得到一个可被 OCR 处理的图片地址。在自动化服务里这一步通常会跟文件上传、数据库存储配合。要注意的是图片格式最好统一处理。PaddleOCR 对常见格式如 png、jpg、jpeg、bmp 都支持但要求图片文件本身没有被损坏。如果遇到 pdf 扫描件通常做法是先转成图片再进入 OCR 流程。4.2 图片预处理预处理不是必须的但在真实场景里非常有用。常见的预处理操作包括调整图片亮度、对比度、灰度化、二值化、旋转校正。OCR 对清晰度敏感一张模糊的照片和一页清晰的扫描件识别率差异很大。在代码演示阶段我们直接使用原始图片不添加复杂预处理方便看清楚流程。在工程化阶段我会在第 8 章讲如何根据图片质量选择合适的预处理策略。4.3 OCR 识别文字这一步是整个流程中最关键的一环。OCR 引擎读取图片返回识别出的文字块每个文字块通常包含置信度和识别文本。我们只需要把文本提取出来拼接成一段连续的文字。这一步有一个容易忽略的细节OCR 的识别结果通常是按检测框排列的不一定是阅读顺序。PaddleOCR 在多数情况下会尽量按从上到下、从左到右输出但遇到复杂排版时顺序可能不对。如果后续交给 DeepSeek 做严格结构化抽取顺序问题可能导致逻辑混乱。稳妥的做法是让 DeepSeek 尽量通过语义理解重建顺序或者对结果做一次后处理排序。4.4 构造 DeepSeek PromptOCR 得到的文本需要放进一个合理的 Prompt 中。不要直接把识别文本丢给模型而是告诉模型“这是从一张图片里提取的文字”并要求它做特定任务比如“提取合同关键字段”、“生成一段摘要”、“帮我解释这个错误码”。Prompt 的质量直接影响输出效果。好的 Prompt 应该包含三部分角色或任务说明、上下文信息、输出格式要求。比如你是一名信息整理助手。下面是从一张图片中提取出的原始文字可能包含乱序或识别错误。 请仔细阅读并对文字进行修正然后提取关键信息。 输出格式键值对形式每行一个字段。相比直接问“这段文字讲了什么”这种结构化指令会稳定得多。4.5 调用 DeepSeek 接口把构造好的 Prompt 作为用户消息发给 DeepSeek。这里使用的是 OpenAI 兼容接口所以消息格式为messages数组。注意不要把 OCR 原始文本放在 system 角色里因为 system 通常用于定义模型行为用户输入应该放在 user 角色。在调用时可以根据任务难度设置温度参数。对于信息提取类任务建议温度调低到 0.2 或 0.3让模型输出更保守对于创意生成类任务温度可以调高到 0.7 以上。4.6 返回结构化结果最后把 DeepSeek 返回的内容返回给上层。如果是命令行工具直接打印如果是 Web 服务转成 JSON。要特别说明的是不要让用户直接看到中间 OCR 结果而是把模型最终输出的内容呈现给用户这样体验更像是在使用一个多模态模型。整体流程可以用一个简化流程来描述图片 - OCR 引擎 - 原始文本 - Prompt 构造 - DeepSeek - 最终结果这个流程之所以被称为“伪多模态”是因为图片信息在进入 DeepSeek 之前已经被转换成了文本形态。模型并不知道它处理的内容来自图片它只看到了一段文字。但对外部使用者来说效果就是“我传了一张图片模型给出了回答”。5. 完整示例代码实现下面给出三个代码示例从简到繁你可以按需复制。5.1 示例一直接调用 DeepSeek API先跑通 DeepSeek API 调用确保密钥和网络环境正常。from openai import OpenAI # 请替换为你的 DeepSeek API Key client OpenAI( api_keyYOUR_API_KEY, base_urlhttps://api.deepseek.com/v1 # 如果地址不同请以官方文档为准 ) def ask_deepseek(prompt: str, model: str deepseek-chat) - str: resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.3, ) return resp.choices[0].message.content.strip() if __name__ __main__: text ask_deepseek(用一个比喻解释什么是伪多模态。) print(text)这段代码的核心在client.chat.completions.create部分。只要你的 DeepSeek 服务兼容 OpenAI 接口这个写法可以直接使用。base_url的关键在于替换成你实际部署的服务地址如果使用 DeepSeek 开放平台请查阅官方文档获取准确地址。5.2 示例二使用 PaddleOCR 识别图片文字这个示例单独演示 OCR 能力不依赖 DeepSeek。from paddleocr import PaddleOCR def ocr_image(image_path: str, lang: str ch) - str: ocr PaddleOCR(use_angle_clsTrue, langlang, show_logFalse) result ocr.ocr(image_path, clsTrue) lines [] if result: for page in result: if not page: continue for item in page: lines.append(item[1][0]) return \n.join(lines) if __name__ __main__: text ocr_image(demo.png) print(text)运行前你需要确认demo.png存在于当前目录。如果图片中包含中文lang参数使用ch如果主要识别英文可以把lang改成en。需要留意的一点是PaddleOCR 不同版本返回结果的结构可能不同。上面代码基于常见的 2.x 版本输出格式。如果你在运行中发现item[1][0]报错可以先取消show_logFalse打印原始result查看实际数据结构再调整解析代码。5.3 示例三完整的 DeepSeek 识图集成脚本把 OCR 和 DeepSeek 串起来实现“传入图片输出摘要或结构化信息”。import sys from openai import OpenAI from paddleocr import PaddleOCR client OpenAI( api_keyYOUR_API_KEY, base_urlhttps://api.deepseek.com/v1 ) def ocr_image(ocr: PaddleOCR, image_path: str) - str: result ocr.ocr(image_path, clsTrue) lines [] if result: for page in result: if not page: continue for item in page: lines.append(item[1][0]) return \n.join(lines) def ask_deepseek(prompt: str, model: str deepseek-chat) - str: resp client.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.3, ) return resp.choices[0].message.content.strip() def image_to_summary(image_path: str) - str: ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) raw_text ocr_image(ocr, image_path) prompt ( 下面是从一张图片中提取出来的文字内容可能包含识别错误或排版异常。\n 请先对文字进行必要修正然后按照以下要求输出\n 1. 用 3-5 句话概括这张图片的核心内容\n 2. 如果包含数字、型号、金额请单独列出\n 3. 输出格式为 Markdown 无序列表。\n\n f图片文字内容如下\n{raw_text} ) return ask_deepseek(prompt) if __name__ __main__: if len(sys.argv) 1: result image_to_summary(sys.argv[1]) print(result) else: print(请传入图片路径例如python deepseek_vision.py demo.png)运行方式python deepseek_vision.py demo.png这个脚本虽然简单但已经是一个可用的最小闭环识别图片文字、构造 Prompt、调用 DeepSeek、输出结构化回答。你可以在此基础上扩展成 Web API、命令行工具或者批量处理脚本。6. 运行结果与效果验证用一张包含文字信息的截图跑一下示例三。假设图片里是一段新闻文本截图预期输出应该是类似这样的结果- 该图片是一段关于人工智能发展的新闻摘要。 - 核心内容包括AI 模型在医疗影像诊断中的应用。 - 提到了目前准确率超过 90%。 - 涉及的机构包括某大学附属医院。如果你的输出和图片内容基本吻合说明整个链路已经跑通。如果输出结果为空或明显偏离图片内容先按下面的思路排查。第一步检查 OCR 是否成功。单独运行示例二看能否打印出图片里的文字。如果 OCR 输出为空说明问题出在识别环节而不是 DeepSeek 环节。第二步检查 Prompt 是否合理。把示例三中的raw_text打印出来直接粘贴到 DeepSeek 对话窗里看模型能否给出合理回答。如果 DeepSeek 在对话窗里表现很好但在脚本中表现很差那大概是 Prompt 没有正确传给模型或者温度参数不合适。第三步检查 API 返回状态。在ask_deepseek函数中打印原始返回对象看看是否有限流提示、鉴权失败或上下文超长错误。DeepSeek 的上下文长度是有限的如果 OCR 识别出的文本太长超过模型的上下文窗口应该做截断或分段处理。第四步检查图片质量。如果图片分辨率太低或者文字区域模糊画质是 OCR 失灵的主要原因。你可以先用图片编辑工具放大图片再重新测试。一个重要的验证维度是“伪多模态”体验是否达标。当你运行完整脚本时用户只输入图片路径最终直接得到 DeepSeek 的回答不需要手动复制粘贴文字。从用户视角看DeepSeek 确实“看见”了图片这就是我们想要的效果。7. 常见问题与排查思路实操过程中大家最容易踩的坑集中在环境安装、接口调用、识别质量这几个方面。我把高频问题整理成一张排查表你可以直接对照处理。问题现象可能原因排查方式解决方案PaddleOCR 安装失败依赖冲突或缺少编译环境查看 pip 报错检查 Python 版本使用 Python 3.10 虚拟环境安装兼容版本首次运行 OCR 非常慢正在下载模型文件查看控制台日志保持网络畅通或提前下载模型到缓存目录OCR 识别结果为空图片中没有文字或图片质量太差用图片工具打开原图确认视觉内容预处理增强图片切换语言包OCR 结果顺序混乱复杂排版检测框顺序不正确打印每条文字块的坐标信息按坐标排序或让 DeepSeek 根据语义重排DeepSeek API 返回 401API Key 错误或已失效检查环境变量和代码中的密钥重新获取 Key 并确认没有空格或换行请求超时网络问题或服务繁忙查看 API 响应状态增加退避重试机制使用更小的图片输出内容不准确OCR 错误被模型直接接受检查中间文本质量在 Prompt 中要求模型识别并修正 OCR 错误图片包含敏感信息隐私数据发送至外部 API检查项目合规要求优先本地 OCR避免上传含敏感信息的图片其中最容易忽略的是“隐私安全”问题。如果图片中包含身份证、合同金额、内部系统截图等敏感信息你把这些图片发送给外部模型 API会存在数据泄露风险。稳妥的做法是先做一次本地 OCR把识别结果脱敏后再调用外部模型。如果条件允许可以考虑本地部署一个较小的模型来处理敏感数据保证数据不出内网。另一个高频问题是上下文长度。OCR 结果常常是一大段文本长时间输出时可能出现超出模型最大上下文的情况。一个简单策略是限制 OCR 文本长度例如只保留前 2000 个字符更复杂的策略是按段落拆分多次调用 DeepSeek 后合并结果。对于不同场景你要根据实际需求选择。8. 最佳实践与工程建议当脚本能跑通之后真正让它成为生产可用的能力还需要考虑下面这些工程细节。8.1 图片预处理OCR 对图片质量很敏感。在实际项目中建议对上传图片做一次预处理流水线统一调整为固定宽度、转为灰度图、提高对比度、必要时做二值化。比如对一张手机拍摄的文档照片比较常见的处理是先用 OpenCV 做边缘检测和透视变换把倾斜的内容校正成水平。虽然这会让代码量增加但对识别率的提升非常明显。8.2 视觉模型与 OCR 并存如果应用场景同时包含“文字识别”和“场景理解”建议同时接入 OCR 和一个视觉语言模型。比如用户上传一张产品照片既有产品外观又有包装上的文字说明此时判断逻辑可以这样设计如果 OCR 结果很丰富说明图片以文字为主走 OCR DeepSeek 路线如果 OCR 结果很少但用户需要知道图片内容则调用视觉模型生成描述再把描述交给 DeepSeek。这种动态分流策略会让整个系统的适用范围远大于单纯 OCR。8.3 打造更合适的 PromptPrompt 不是一句固定的话而是需要分层设计。在工程化实现中建议把 Prompt 模板单独抽离成配置文件方便在不同任务中切换。每个任务对应一套模板模板中包含系统指令、用户输入、输出格式约定。这样运维人员不用修改代码只改配置文件就能调整模型行为。对信息提取类任务给 DeepSeek 明确结构化的输出格式非常重要例如要求输出 JSON或者 Markdown 表格。这会大大降低后续解析成本。8.4 缓存与去重如果同一个图片被多次上传每次重复 OCR 和调用模型浪费时间和成本。建议用图片的哈希值作为缓存 key在数据库或内存中保存已处理的结果。当图片再次上传时直接返回缓存结果省去重复计算。对于实时性要求不高的场景可以再加一层异步队列后台批量处理图片前台先返回“处理中”状态。这种设计能避免大图片阻塞 Web 请求。8.5 安全与合规这是整个方案中最需要注意的部分。给 DeepSeek 增加识图能力意味着原本只处理文本的链路现在开始接收图片图片可能包含个人信息、商业机密甚至违法内容。你要确保用户上传图片前有明确告知并获得授权。图片传输过程使用 HTTPS 加密。敏感图片尽量在本地处理外部 API 只接收脱敏或过滤后的文本。所有 API 调用都要记录日志方便审计。遵守 DeepSeek 开放平台的服务条款不提交违反规定的内容。不要因为“只是接了一个 OCR”就忽略数据合规。很多生产事故并不是发生在核心算法上而是发生在数据流通过程中。8.6 容错与重试调用外部 API 时网络抖动和限流很难完全避免。建议在代码里加入指数退避重试机制第一次失败后等 1 秒重试第二次等 2 秒第三次等 4 秒最多重试 3 到 5 次。如果重试仍然失败再向上层抛出错误而不是让整个任务挂掉。同时要对“OCR 成功但识别文本为空”的情况进行防御。比如如果 OCR 返回文本长度小于 10 个字符直接提示用户“图片中未检测到有效文字”而不是继续调用 DeepSeek 返回毫无意义的结果。8.7 成本控制伪多模态方案的成本分为两部分OCR 本地计算资源和模型 API 调用费用。OCR 在本地跑主要消耗 CPU/GPU 和内存模型 API 按 token 计费。OCR 文本越长发送给模型的 token 越多费用越高。所以在满足需求的前提下控制 OCR 文本长度是降本的关键。一个常用技巧是只提取与任务相关的文字区域。比如项目只关心图片中的合同金额可以通过 OCR 检测到的关键词定位只把金额附近的文本发送给模型而不是全文发送。这样既提高了准确率也降低了 token 消耗。9. 总结与后续学习方向这篇文章的核心判断是DeepSeek 本身不会读图但通过外部 OCR 或视觉模型做一层文字转换完全可以补齐它的“视觉盲区”。这种伪多模态方案在生产环境里是可行且实用的尤其适合处理文字截图、扫描件、错误日志图片等场景。你已经掌握了完整的技术路径理解伪多模态与真实多模态的差异准备 Python 环境搭建 PaddleOCR DeepSeek 的调用链路并用一个最小脚本跑通“图片输入 - 文字提取 - 模型回答”的完整流程。这中间最影响效果的三个环节是OCR 的准确率、Prompt 的结构化程度、以及 API 调用时的稳定性和安全性。下一步你可以围绕这几个方向继续深入一是优化 OCR 预处理策略提升对低质量图片的识别率二是尝试接入一个开源视觉语言模型把“描述图片内容”和“提取图片文字”结合起来三是把脚本改造成 FastAPI 或 Flask 服务包装成对外的识图 API让其他系统通过 HTTP 调用。需要提醒的是不要满足于脚本能跑通。真实项目中你还需要考虑缓存、重试、日志、权限控制、敏感信息过滤这些工程细节。把最简单的 demo 变成稳定可靠的服务才是伪多模态方案真正落地的地方。建议你现在就找一张含文字的截图把示例代码跑起来记录下识别结果和问题再根据你自己的应用场景迭代优化。
