OpenRAG Azure Blob与IBM COS增强连接器:两大云存储接入完整教程

OpenRAG Azure Blob与IBM COS增强连接器:两大云存储接入完整教程 OpenRAG Azure Blob与IBM COS增强连接器两大云存储接入完整教程【免费下载链接】openragOpenRAG is a comprehensive, single package Retrieval-Augmented Generation platform built on Langflow, Docling, and Opensearch.项目地址: https://gitcode.com/GitHub_Trending/open/openragOpenRAG 是一个基于 Langflow、Docling 与 OpenSearch 构建的单包检索增强生成RAG平台。本文带你完整掌握它的两大云存储增强连接器——Azure Blob Storage与IBM Cloud Object StorageIBM COS如何开通、如何配置凭证、如何选择容器/存储桶以及如何把云端的 PDF、文档一键摄入知识库并用于 AI 问答。全程以界面操作为主新手也能跟着做。一、为什么需要云存储连接器很多团队的文档散落在云存储里合同在 Azure Blob 的某个 Container技术文档在 IBM COS 的 Bucket 中。手动下载再上传既麻烦又容易遗漏。OpenRAG 的连接器机制把这些云存储变成知识库的直接来源连接器以bucket类型工作支持按时间戳检测变更CHANGE_DETECTION timestamp重复摄入时只处理新增或修改的文件文件下载后交给 Docling 解析、向量化最终写入 OpenSearch 索引即可被对话问答检索凭证加密落盘存储如connection_string、api_key等字段无需依赖系统环境变量。两个连接器的核心差异一览对比项Azure Blob 连接器IBM COS 连接器凭证方式连接字符串 / 账户名密钥IAM API Key / HMAC 访问密钥存储单元Container容器Bucket存储桶文件复合 IDcontainer::blobbucket::key权限控制基于属主的 DLSv1自动读取对象 ACL 并映射本地调试可对接 Azurite 模拟器可对接 MinIOHMAC 模式二、前置条件开启增强连接器的 3 个开关这两个连接器属于企业/SaaS 增强组件默认需要开启身份认证才会出现在界面中。相关逻辑见 connector.py生产环境设置IBM_AUTH_ENABLEDtrue两个连接器即会随 AWS S3 等一起出现在连接页本地开发设置OPENRAG_DEV_AZURE_BLOBtrue或OPENRAG_DEV_IBM_COStrue可绕过门禁方便用 Azurite / MinIO 做测试切勿用于生产紧急隐藏Azure Blob 额外提供OPENRAG_AZURE_BLOB_ENABLEDfalse作为 kill switch即使门禁开启也能强制隐藏该连接器。如果通过 TUI 管理 OpenRAG 服务可以在终端会话中选择Reconfigure修改这些环境变量后重启服务⚠️ 若在 Connectors 页面看不到这两个连接器先检查上述开关是否生效——这是最常见的问题。三、Azure Blob Storage 连接教程步骤 1选择认证方式Azure 连接器支持两种凭证模式见 models.py连接字符串connection_string默认在 Azure 门户的存储账户 → 设置 → 共享密钥中复制完整连接字符串一步到位账户密钥account_key分别填写账户名 账户密钥并可自定义endpoint适合指向 Azurite 或主权云环境。步骤 2填写凭证并测试连接进入前端Connectors页面源码位于 settings-dialog.tsx选择 Azure Blob Storage 卡片并打开配置对话框选择认证模式粘贴凭证点击Test Connection——该操作调用 /connectors/azure_blob/test 端点会实际列取一次 Container 来验证凭证测试不会保存任何配置可以放心反复尝试测试通过后界面会显示可访问的 Container 列表。步骤 3选择容器并保存在列表中勾选要摄入的 Container即container_names白名单留空则自动发现全部可访问容器点击保存后系统调用configure端点再次验证并加密持久化连接配置之后可在任意时间修改凭证系统会更新原连接而非重复创建。 本地没有 Azure 账户安装 Azurite 模拟器选择account_key模式并把 endpoint 指向http://127.0.0.1:10000/devstoreaccount1即可联调详见 auth.py。四、IBM Cloud Object Storage 连接教程步骤 1选择 IAM 还是 HMAC 认证IBM COS 连接器同样支持双模式见 models.pyIAM推荐默认填写 Cloud API Key Service Instance ID可选认证端点。IAM 模式底层使用ibm_boto3.client专为真实 IBM COS API 优化HMAC填写 Access Key ID Secret Access Key走标准 S3 兼容协议ibm_boto3.resource也适用于 MinIO 测试。步骤 2填写端点与凭证在 Connectors 页面的 IBM Cloud Object Storage 卡片中前端源码见 settings-form.tsx填写endpoint必填如s3.us.cloud-object-storage.appdomain.cloud按所选模式粘贴密钥保存前系统会调用 /connectors/ibm_cos/configure 实际执行一次list_buckets()验证凭证。步骤 3选择 Bucket 并保存勾选需要摄入的 Bucketbucket_names留空则自动发现可选填prefix前缀过滤只摄入某个目录下的对象与 Azure 连接器一样测试通过前不会落盘凭证保存后自动加密。五、验证摄入状态Bucket 状态面板保存连接后两个连接器都提供状态端点用于核对摄入进度Azure/connectors/azure_blob/{connection_id}/container-status返回每个 Container 的is_synced与ingested_countIBM COS/connectors/ibm_cos/{connection_id}/bucket-status返回每个 Bucket 的同款指标。计数来自 OpenSearch 索引中对connector_type的聚合查询——界面上某个 Bucket 显示已同步、文档数为 12就说明该 Bucket 的 12 个对象已成功解析入库。两个细节值得了解MIME 类型兜底云存储常把文件类型标成application/octet-stream连接器会自动按文件扩展名猜测真实类型如.pdf→application/pdf确保 Docling 正确解析权限映射IBM COS 连接器会读取每个对象的 ACL把FULL_CONTROL/READ授权方映射为文档访问控制Azure Blob 当前版本采用基于属主的 DLS文档归属于执行摄入的用户。六、摄入后如何用一次真实问答连接配置完成后在摄入界面选择对应连接器即可开始拉取文件。文件经解析、分块、向量化进入 OpenSearch随后就能在 OpenRAG 聊天界面直接提问——回答会附带知识库来源引用由于变更检测基于时间戳之后云端新增或覆盖的文件只需再次触发同步即可增量摄入无需全量重跑。七、常见问题速查问题原因与解决页面看不到连接器IBM_AUTH_ENABLED未开启或本地未设置OPENRAG_DEV_*开关测试连接失败核对凭证是否过期HMAC/IAM 模式选错endpoint 拼写含区域是否正确保存后 Container 列表为空凭证只有只读部分容器权限或该账户下确实无容器文档类型识别错误上传时未带扩展名导致猜测失败建议对象命名带标准后缀想临时下线 Azure 连接器设置OPENRAG_AZURE_BLOB_ENABLEDfalse后重启八、本文涉及的关键路径Azure 连接器实现enhancements/connectors/azure_blob/connector.pyIBM COS 连接器实现enhancements/connectors/ibm_cos/connector.py前端配置对话框frontend/enhancements/connectors/官方连接器文档docs/docs/core-components/knowledge-connectors.mdx小结OpenRAG 的 Azure Blob 与 IBM COS 增强连接器让云存储成为知识库的一等公民——双认证模式、测试不落盘、凭证加密、增量同步与状态面板一应俱全。按照本文的三个步骤完成配置你就能把云端文档变成可对话的智能知识。【免费下载链接】openragOpenRAG is a comprehensive, single package Retrieval-Augmented Generation platform built on Langflow, Docling, and Opensearch.项目地址: https://gitcode.com/GitHub_Trending/open/openrag创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考