前言最近深度求索开源的 DeepSeek-R1 系列模型火遍全球但因为“服务器繁忙”劝退不少人。为了解决这个问题我们将以 UltraRAG 框架为例为大家介绍 DeepSeek-R1 的本地部署流程同时带领大家熟悉 UltraRAG 的细节和功能。在成功跑通 VanillaRAG 后我们还简单尝试了在 DeepSeek-R1 加持下的 Adaptive-Note提出法律领域的问题效果居然出乎意料地好有截图为证如上图在 UltraRAG 上对VanillaRAG和Adaptive-Note分别提问“我喝多后撞了人可能会承担什么罪责”VanillaRAG 简单直接分别列出了罪名和建议内容全面但是稍微有点不够细致。再看看 Adaptive-Note 的回答不光总结了可能的几点罪名并且分析了酒精含量和事后处理态度对量刑和赔偿的影响引经据典令人信服。整体来看 Adaptive-Note 的回答更加可信。VanillaRAG是最基础的 RAGRetrieval-Augmented Generation检索增强生成架构通常指的是未经优化或改进的标准 RAG 方法。它的基本流程包括查询构造Query Formation、检索Retrieval、生成GenerationAdaptive-Note: 一种用于复杂问答任务的自适应笔记增强 RAG 方法采用 检索-记忆Retriever-and-Memory 机制 iteratively 收集和优化知识结构。它通过自适应记忆复审和任务导向生成提高知识交互质量并采用基于笔记的探索终止策略确保信息充分获取以提升答案质量。论文: https://arxiv.org/abs/2410.08821看到这里我猜大家已经迫不及待想要体验 UltraRAG 了所以接下来我们将手把手详细介绍 UltraRAG 的部署流程。硬件环境准备DeepSeek-R1 的模型有多个蒸馏版本分别是 7B、14B、70B 以及满血的 671B 版本。权衡了条件和效果后我们选择 14B 的模型进行部署以下是运行 UltraRAG 的基本硬件要求这里需要注意 nvidia 的显卡驱动需要和 cuda 版本兼容否则 vllm 运行模型有可能出现报错的情况。如果你的显卡出现不兼容的情况可以尝试重装驱动和 cuda。这里推荐一个简单好用的安装方法可以有效避免 cuda 和驱动的不兼容问题登录 nvidia 官方网站https://developer.nvidia.com/cuda-toolkit-archive选择适合 cuda-toolkit 版本安装和安装参数推荐使用 runfile 方式安装真的简单好用。cuda-toolkit参数配置页面UltraRAG配置好了现在你已经拥有了一个稳定的运行环境可以配置 UltraRAG 了。运行 UltraRAG 有两种方法一种通过 docker 运行这种方式最简单需要你的机器上已经安装配置好了 nvidia-docker 并拥有它的运行的权限一般情况下需要 root 权限。这种情况下你只需要执行这行代码就行了docker-compose up --build -d如果你的机器上没有 nvidia-docker 也不要紧可以配置 conda 环境来运行。要确保你的本地机器安装了 conda没有的话也可以在这个网址https://docs.anaconda.com/miniconda/install/中找到安装的方法使用普通账户直接安装几行代码很好执行接着就是在 conda 环境上安装 UltraRAG 的依赖下面的代码依次执行就好了#创建conda环境conda create -n ultrarag python3.10#激活conda环境conda activate ultrarag安装相关依赖pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple以上步骤操作完成之后环境依赖就准备好了。接下来开始下载模型。我们需要下载以下 3 个模型分别执行命令。模型下载完成之后紧接着运行 llm 服务具体执行这个命令即可vllm serve DeepSeek-R1-Distill-Qwen-14B--gpu-memory-utilization0.8--dtype auto--api-key token-abc123这里简单说明一下参数的含义–gpu-memory-utilization 0.8表示 GPU 的占用率显存 80G 时0.8 意味着最大占用 64GB 的显存。–dtype auto表示 vllm 自动选择模型参数类型。–api-key token-abc123自定义模型 API 的密钥为 token-abc123。vllm 服务部署完成后将会启动 OpenAI-Compatibly 的服务默认参数为为了常驻后台你也可以使用以下命令运行nohup vllm serve DeepSeek-R1-Distill-Qwen-14B --gpu-memory-utilization 0.8 --dtype auto --api-key token-abc123 好了现在环境搭好了模型也下载好了我们现在来运行 UltraRAG streamlit run ultrarag/webui/webui.py --server.fileWatcherType none如果一切顺利我们会看到下图的结果。这意味着 WebUI 已经跑起来了我们把 URL 复制到浏览器应该就能访问页面了你可以使用 3 个 URL 中的任何一个进行访问什么是 UltraRAG?UltraRAG 框架由清华大学 THUNLP 联合东北大学 NEUIR 、面壁智能团队及 9#AISoft 团队共同提出基于敏捷化部署与模块化构造引入了自动化的“数据构建-模型微调-推理评测”知识适配技术体系提供了一站式、科研与开发双重友好的 RAG 系统解决方案。UltraRAG 显著简化了 RAG 系统在领域适配过程中从数据构建到模型微调的全流程助力科研人员与开发者高效应对复杂任务UltraRAG 框架具有以下优势零代码编程 WebUI 支持零编程经验用户亦可上手操作全链路搭建和优化过程包括多模态 RAG 方案 VisRAG 合成与微调一键式解决以自研 KBAlign、RAG-DDR 等方法为核心一键式系统化数据构建 检索、生成模型多样微调策略支持下的性能优化多维多阶段稳健式评估以自研 RAGEval 方法为核心融入面向有效/关键信息的多阶段评估方法显著提升“模型评估”的稳健性科研友好探索工作集成内置 THUNLP-RAG 组自研方法及其他前沿 RAG 方法支持模块级持续探索与研发。以上全部功能都可以直接通过 web 前端快速实现。最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】DeepSeek全套安装部署资料大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】