Composio Firecrawl Toolkit 接入指南API Key 认证、工具发现与抓取超时配置实战【免费下载链接】composioComposio powers 1000 toolkits, tool search, context management, authentication, and a sandboxed workbench to help you build AI agents that turn intent into action.项目地址: https://gitcode.com/GitHub_Trending/co/composio导读本文基于 Composio 知识库中 Firecrawl 接入的官方支持文档docs/kb/articles/toolkits-firecrawl.md整理而成面向需要在 Composio 平台上以 API Key 方式接入 Firecrawl、并通过 Agent/LLM 调用其网页抓取与内容提取能力的开发者。读完本文你将掌握 Firecrawl 连接账户的创建方式generic_api_key认证、工具列表分页与工具选择策略、抓取超时与 API Base URL 的配置方法以及 Connect MCP 场景下每个用户独立连接 Firecrawl 的注意事项。Firecrawl 在 Composio 中的定位Firecrawl 是一个网页抓取与内容提取服务Composio 以API Key 型 toolkit的形式将其纳入平台。与大量走 Composio 托管 OAuth 测试连接器流程的 toolkit 不同Firecrawl 的认证完全依赖用户自己的 Firecrawl API Key很多场景下还需要用户持有独立的 Firecrawl 订阅/账户。这一点决定了整个接入流程的基调没有托管 OAuth 流一切从 API Key 出发。从源码结构看Composio 的认证方案Auth Scheme在 TypeScript 核心包中统一定义ts/packages/core/src/models/AuthScheme.ts其中APIKey静态方法即为 API Key 类型连接账户的构造入口Firecrawl 正是这类认证的典型使用者。用 API Key 连接 Firecrawl为什么不用 OAuthFirecrawl 不使用 Composio 托管的 OAuth/测试连接器流程因此你不能走浏览器重定向授权那套路径。你需要在 Firecrawl 侧申请/持有自己的 API Key形如fc-...在大多数场景下同时拥有自己的 Firecrawl 订阅或账户如果 MCP 客户端没有主动弹出密钥输入框需要通过连接流程手动提供 Key或明确告知 Agent/客户端使用 Firecrawl API Key 完成认证。用generic_api_key创建连接账户对于 Firecrawl 的 API Key 认证创建连接账户时需要指定authScheme: API_KEY—— 声明这是 API Key 认证方案值对象中包含status: ACTIVE—— 连接状态直接置为可用generic_api_key: fc-...—— 存放实际的 Firecrawl API Key。精确的字段名以 toolkit 元数据/连接发起字段为准但generic_api_key是该类认证的标准字段名。这一点在源码中可以得到印证ts/packages/core/src/models/AuthScheme.ts#L84-L94 中APIKey方法接收{ api_key?, generic_api_key? }并默认将status置为ACTIVEts/packages/core/src/types/connectedAccountAuthStates.types.ts#L68 定义了可选的generic_api_key字段ACTIVE状态在 同一文件第 7 行 中定义为字符串常量。// 以 TypeScript SDK 的 AuthScheme.APIKey 构造方式为例示意 import { AuthScheme } from composio/core; const connectionData AuthScheme.APIKey({ generic_api_key: fc-xxxxxxxxxxxxxxxxxxxxxxxx, // status 默认即为 ACTIVE无需显式传入 });也就是说只要提供了generic_api_keyComposio 就会生成一个authScheme: API_KEY、status: ACTIVE的 Firecrawl 连接账户后续工具调用直接使用该 Key 与 Firecrawl API 通信。发现并运行 Firecrawl 工具工具列表默认只返回前 20 个接入成功后下一步是让 Agent 发现可用的 Firecrawl 工具。这里有一个容易踩坑的点默认的工具列表接口可能只返回前 20 个工具。Firecrawl toolkit 包含搜索、抓取、提取等多个工具如果发现FIRECRAWL_SEARCH或其他 Firecrawl 工具消失在工具列表中首先要怀疑是分页/数量限制问题而不是集成失败。解决办法调大列表limit例如请求limit1000或对工具列表接口进行分页拉取。// 示意拉取 Firecrawl 工具时显式提高 limit const tools await client.tools.list({ apps: [firecrawl], limit: 1000, });按任务选择正确的检索工具Firecrawl 提供多种检索能力官方支持文档给出的选择建议如下任务类型推荐工具说明抓取页面内容FIRECRAWL_SCRAPE适合直接获取网页原始内容提取式工作流FIRECRAWL_EXTRACT适合按结构/字段从页面提取信息更宽泛的网页搜索Composio Search如composio_search视使用场景而定可能比 Firecrawl 更合适从仓库中的同类知识库文章如 docs/kb/articles/toolkits-tavily.md可以看出Composio 提供免认证的composio_searchtoolkit提供 Exa/Tavily 等搜索能力当你的诉求是通用网页搜索而非Firecrawl 站点抓取/提取时可以优先考虑这类免认证搜索能力避免不必要的 Firecrawl 消耗。配置抓取端点与抓取超时长抓取任务分批或提高超时抓取复杂页面时容易触发超时官方支持文档给出了两条可组合的应对策略减少单次请求的 URL 数量复杂页面建议每次只批量 12 个链接避免一次性提交过多导致单次执行过长提高抓取超时如果工具调用支持超时参数可适当调大。一个推荐的起步值是timeout: 120000 // 约 2 分钟超时// 示意调用 FIRECRAWL_SCRAPE 时携带更长超时 const result await tools.execute(FIRECRAWL_SCRAPE, { url: https://example.com/complex-page, timeout: 120000, });Base URL 固定为 Firecrawl v1Firecrawl API 的 Base URL 为https://api.firecrawl.dev/v1在以下场景需要用到该值手动填写 Base URL 以打通连接构造自定义调用绕过 toolkit 默认路由。如果某个连接或自定义调用被 Base URL 卡住先用该值手动填入验证。若 toolkit 本应自动提供该值却未提供则属于产品/工具链层面的问题应联系 Composio 支持并提供连接详情排查。通过 Connect MCP 使用 Firecrawl每个消费者账户都要各自连接在使用 Connect MCPFor You 侧时有一个容易混淆的隔离语义需要特别留意每个用户的 MCP 会话都绑定到他们自己的 Composio 消费者账户而不是共享的工作区上下文。由此带来的实际影响是在某个用户的账户/工作区下创建的 Firecrawl 连接不会自动出现在同事的 Claude 会话中团队协作时每位同事都需要在自己的 Connect MCP 会话中单独创建/连接自己的 Firecrawl 账户连接。这与 Connect MCP 的账户模型保持一致会话即账户连接即隔离。因此排查为什么同事看不到我的 Firecrawl 工具时优先检查对方是否在自己的消费者账户下完成了独立连接而不是怀疑工具同步问题。故障排查速查表现象可能原因处理建议找不到FIRECRAWL_SEARCH等工具工具列表默认只返回前 20 个提高limit如limit1000或分页拉取抓取复杂页面超时单次 URL 过多 / 超时过短每批 12 个链接或将timeout提到120000连接无法建立Base URL 缺失手动填入https://api.firecrawl.dev/v1若 toolkit 应自动提供则联系支持MCP 会话中看不到同事的连接Connect MCP 按消费者账户隔离让每位同事在自己的账户下独立创建 Firecrawl 连接认证失败未使用 API Key 认证确认authScheme: API_KEYstatus: ACTIVEgeneric_api_key: fc-...参考资料本文主体依据docs/kb/articles/toolkits-firecrawl.md原始支持知识条目docs/kb/source/toolkits/firecrawl/public.md认证方案源码ts/packages/core/src/models/AuthScheme.ts连接账户状态与字段定义ts/packages/core/src/types/connectedAccountAuthStates.types.ts同类的 API Key 型搜索工具参考docs/kb/articles/toolkits-tavily.md【免费下载链接】composioComposio powers 1000 toolkits, tool search, context management, authentication, and a sandboxed workbench to help you build AI agents that turn intent into action.项目地址: https://gitcode.com/GitHub_Trending/co/composio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Composio Firecrawl Toolkit 接入指南：API Key 认证、工具发现与抓取超时配置实战
Composio Firecrawl Toolkit 接入指南API Key 认证、工具发现与抓取超时配置实战【免费下载链接】composioComposio powers 1000 toolkits, tool search, context management, authentication, and a sandboxed workbench to help you build AI agents that turn intent into action.项目地址: https://gitcode.com/GitHub_Trending/co/composio导读本文基于 Composio 知识库中 Firecrawl 接入的官方支持文档docs/kb/articles/toolkits-firecrawl.md整理而成面向需要在 Composio 平台上以 API Key 方式接入 Firecrawl、并通过 Agent/LLM 调用其网页抓取与内容提取能力的开发者。读完本文你将掌握 Firecrawl 连接账户的创建方式generic_api_key认证、工具列表分页与工具选择策略、抓取超时与 API Base URL 的配置方法以及 Connect MCP 场景下每个用户独立连接 Firecrawl 的注意事项。Firecrawl 在 Composio 中的定位Firecrawl 是一个网页抓取与内容提取服务Composio 以API Key 型 toolkit的形式将其纳入平台。与大量走 Composio 托管 OAuth 测试连接器流程的 toolkit 不同Firecrawl 的认证完全依赖用户自己的 Firecrawl API Key很多场景下还需要用户持有独立的 Firecrawl 订阅/账户。这一点决定了整个接入流程的基调没有托管 OAuth 流一切从 API Key 出发。从源码结构看Composio 的认证方案Auth Scheme在 TypeScript 核心包中统一定义ts/packages/core/src/models/AuthScheme.ts其中APIKey静态方法即为 API Key 类型连接账户的构造入口Firecrawl 正是这类认证的典型使用者。用 API Key 连接 Firecrawl为什么不用 OAuthFirecrawl 不使用 Composio 托管的 OAuth/测试连接器流程因此你不能走浏览器重定向授权那套路径。你需要在 Firecrawl 侧申请/持有自己的 API Key形如fc-...在大多数场景下同时拥有自己的 Firecrawl 订阅或账户如果 MCP 客户端没有主动弹出密钥输入框需要通过连接流程手动提供 Key或明确告知 Agent/客户端使用 Firecrawl API Key 完成认证。用generic_api_key创建连接账户对于 Firecrawl 的 API Key 认证创建连接账户时需要指定authScheme: API_KEY—— 声明这是 API Key 认证方案值对象中包含status: ACTIVE—— 连接状态直接置为可用generic_api_key: fc-...—— 存放实际的 Firecrawl API Key。精确的字段名以 toolkit 元数据/连接发起字段为准但generic_api_key是该类认证的标准字段名。这一点在源码中可以得到印证ts/packages/core/src/models/AuthScheme.ts#L84-L94 中APIKey方法接收{ api_key?, generic_api_key? }并默认将status置为ACTIVEts/packages/core/src/types/connectedAccountAuthStates.types.ts#L68 定义了可选的generic_api_key字段ACTIVE状态在 同一文件第 7 行 中定义为字符串常量。// 以 TypeScript SDK 的 AuthScheme.APIKey 构造方式为例示意 import { AuthScheme } from composio/core; const connectionData AuthScheme.APIKey({ generic_api_key: fc-xxxxxxxxxxxxxxxxxxxxxxxx, // status 默认即为 ACTIVE无需显式传入 });也就是说只要提供了generic_api_keyComposio 就会生成一个authScheme: API_KEY、status: ACTIVE的 Firecrawl 连接账户后续工具调用直接使用该 Key 与 Firecrawl API 通信。发现并运行 Firecrawl 工具工具列表默认只返回前 20 个接入成功后下一步是让 Agent 发现可用的 Firecrawl 工具。这里有一个容易踩坑的点默认的工具列表接口可能只返回前 20 个工具。Firecrawl toolkit 包含搜索、抓取、提取等多个工具如果发现FIRECRAWL_SEARCH或其他 Firecrawl 工具消失在工具列表中首先要怀疑是分页/数量限制问题而不是集成失败。解决办法调大列表limit例如请求limit1000或对工具列表接口进行分页拉取。// 示意拉取 Firecrawl 工具时显式提高 limit const tools await client.tools.list({ apps: [firecrawl], limit: 1000, });按任务选择正确的检索工具Firecrawl 提供多种检索能力官方支持文档给出的选择建议如下任务类型推荐工具说明抓取页面内容FIRECRAWL_SCRAPE适合直接获取网页原始内容提取式工作流FIRECRAWL_EXTRACT适合按结构/字段从页面提取信息更宽泛的网页搜索Composio Search如composio_search视使用场景而定可能比 Firecrawl 更合适从仓库中的同类知识库文章如 docs/kb/articles/toolkits-tavily.md可以看出Composio 提供免认证的composio_searchtoolkit提供 Exa/Tavily 等搜索能力当你的诉求是通用网页搜索而非Firecrawl 站点抓取/提取时可以优先考虑这类免认证搜索能力避免不必要的 Firecrawl 消耗。配置抓取端点与抓取超时长抓取任务分批或提高超时抓取复杂页面时容易触发超时官方支持文档给出了两条可组合的应对策略减少单次请求的 URL 数量复杂页面建议每次只批量 12 个链接避免一次性提交过多导致单次执行过长提高抓取超时如果工具调用支持超时参数可适当调大。一个推荐的起步值是timeout: 120000 // 约 2 分钟超时// 示意调用 FIRECRAWL_SCRAPE 时携带更长超时 const result await tools.execute(FIRECRAWL_SCRAPE, { url: https://example.com/complex-page, timeout: 120000, });Base URL 固定为 Firecrawl v1Firecrawl API 的 Base URL 为https://api.firecrawl.dev/v1在以下场景需要用到该值手动填写 Base URL 以打通连接构造自定义调用绕过 toolkit 默认路由。如果某个连接或自定义调用被 Base URL 卡住先用该值手动填入验证。若 toolkit 本应自动提供该值却未提供则属于产品/工具链层面的问题应联系 Composio 支持并提供连接详情排查。通过 Connect MCP 使用 Firecrawl每个消费者账户都要各自连接在使用 Connect MCPFor You 侧时有一个容易混淆的隔离语义需要特别留意每个用户的 MCP 会话都绑定到他们自己的 Composio 消费者账户而不是共享的工作区上下文。由此带来的实际影响是在某个用户的账户/工作区下创建的 Firecrawl 连接不会自动出现在同事的 Claude 会话中团队协作时每位同事都需要在自己的 Connect MCP 会话中单独创建/连接自己的 Firecrawl 账户连接。这与 Connect MCP 的账户模型保持一致会话即账户连接即隔离。因此排查为什么同事看不到我的 Firecrawl 工具时优先检查对方是否在自己的消费者账户下完成了独立连接而不是怀疑工具同步问题。故障排查速查表现象可能原因处理建议找不到FIRECRAWL_SEARCH等工具工具列表默认只返回前 20 个提高limit如limit1000或分页拉取抓取复杂页面超时单次 URL 过多 / 超时过短每批 12 个链接或将timeout提到120000连接无法建立Base URL 缺失手动填入https://api.firecrawl.dev/v1若 toolkit 应自动提供则联系支持MCP 会话中看不到同事的连接Connect MCP 按消费者账户隔离让每位同事在自己的账户下独立创建 Firecrawl 连接认证失败未使用 API Key 认证确认authScheme: API_KEYstatus: ACTIVEgeneric_api_key: fc-...参考资料本文主体依据docs/kb/articles/toolkits-firecrawl.md原始支持知识条目docs/kb/source/toolkits/firecrawl/public.md认证方案源码ts/packages/core/src/models/AuthScheme.ts连接账户状态与字段定义ts/packages/core/src/types/connectedAccountAuthStates.types.ts同类的 API Key 型搜索工具参考docs/kb/articles/toolkits-tavily.md【免费下载链接】composioComposio powers 1000 toolkits, tool search, context management, authentication, and a sandboxed workbench to help you build AI agents that turn intent into action.项目地址: https://gitcode.com/GitHub_Trending/co/composio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
