多个大模型API管理太乱?这个开源网关帮你一键聚合 📅 发布时间:2026/8/24 2:18:38 👁 浏览次数: 简介什么是 Octopus Octopus是一个开源的LLM API聚合服务它可以帮助用户将多个大模型提供商的API统一管理实现协议转换、负载均衡和用量统计。主要特点多渠道聚合连接多个LLM提供商渠道支持单渠道多KEY多端点统一管理所有API协议互转支持OpenAI Chat、OpenAI Responses、Anthropic三种协议格式无缝互转一套配置适应不同客户端自动同步自动同步上游模型列表和价格信息无需手动维护负载均衡多渠道智能路由支持按权重轮询和故障自动重试数据分析完整的请求统计、Token消耗和成本追踪支持可视化仪表盘精美 UI简洁美观的Web管理面板支持桌面端和移动端多数据库支持支持SQLite、MySQL、PostgreSQL三种数据库开源免费基于AGPL-3.0协议开源可免费使用和修改应用场景个人开发者统一管理OpenAI、Claude、Gemini等多个API Key避免反复切换配置AI 编程工具为Claude Code、Codex等工具提供统一的API入口支持协议自动转换团队协作多用户权限管理按需分配API配额和访问权限成本控制实时统计Token消耗和费用支出优化API使用成本高可用部署多渠道负载均衡单个渠道故障自动切换保障服务稳定性Octopus是一个为个人打造的美观优雅的LLM API聚合服务让多模型管理变得简单高效。安装在群晖上以 Docker 方式安装。在注册表中搜索bestrui选择第三个bestrui/octopus版本选择latest。本文写作时latest版本对应为v0.10.3卷在docker文件夹中创建一个新文件夹octopus并在其中建一个子文件夹data文件夹装载路径说明docker/octopus/data/app/data存放数据库和设置文件等端口本地端口不冲突就行不确定的话可以用命令查一下# 查看端口占用netstat-tunlp|grep端口号本地端口容器端口87358080默认没有对外暴露端口需要点号自己添加docker cli 安装如果你熟悉命令行可能用docker cli更快捷# 新建文件夹 octopus 和 子目录mkdir-p/volume1/docker/octopus/data# 进入 octopus 目录cd/volume1/docker/octopus# 一键启动dockerrun-d\--nameoctopus\--restartunless-stopped\-p8735:8080\-v$(pwd)/data:/app/data\bestrui/octopusdocker-compose 安装也可以用docker-compose安装将下面的内容保存为docker-compose.yml文件version:3.8services:octopus:image:bestrui/octopuscontainer_name:octopusrestart:unless-stoppedports:-8735:8080volumes:-./data:/app/data# 数据持久化目录然后通过SSH登录到您的群晖执行下面的命令# 新建文件夹 octopus 和 子目录mkdir-p/volume1/docker/octopus/data# 进入 octopus 目录cd/volume1/docker/octopus# 将 docker-compose.yml 放入当前目录# 一键启动docker-composeup-d运行在浏览器中访问http://群晖IP:8735即可看到登录界面使用默认账号密码登录用户名admin密码admin登录后的主界面安全起见进设置立即修改默认密码在「渠道管理」中添加你的LLM API渠道还是以硅基流动为例渠道名称例如 SiliconFlow渠道类型支持OpenAI Chat等多种协议这里用了AnthropicBase URL填入https://api.siliconflow.cnAPI Key填入你在硅基流动的API Key模型可以手动填入也可以刷新之后选取目前硅基流动SiliconFlow注册就送16元的代金券注册地址https://cloud.siliconflow.cn/i/NkUiXVhQ添加完成后在「分组管理」中创建模型分组生成API Key供客户端调用接下来需要复制刚生成的API Key可以在编程工具或者其他工具中调用提供商名称 例如octopusAPI密钥 上一步创建并复制的API Key端点设置默认填了OpenAI的地址都一样用http://群晖IP:8735/v1即可随便问个问题日志中能看到我们的请求注意事项修改默认密码首次登录后请立即修改默认密码admin避免安全风险数据持久化确保/app/data目录已正确挂载配置文件和数据库存储在此目录端口配置本文使用8735端口请确保该端口未被其他服务占用参考文档bestruirui/octopus: One Hub All LLMs For You | 为个人打造的 LLM API 聚合服务地址https://github.com/bestruirui/octopusLinux.do 社区讨论地址https://linux.do/t/topic/1316708