Crawl4AI 自适应爬取Adaptive Crawling实战按查询生长、在信息饱和时停止的知识电容器【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiAdaptive Crawling自适应爬取是 Crawl4AI 中一种与传统深度爬取截然不同的思路它不追求爬遍全站而是围绕一个具体查询query动态生长知识库并通过覆盖率、一致性、饱和度三类统计信号判断何时该停止。本文基于仓库中的官方博文 adaptive-crawling-revolution.md 展开并结合 crawl4ai/adaptive_crawler.py 的源码实现带你完整掌握其信息论基础、两种策略statistical / embedding的原理与全部配置参数以及digest主循环的实际工作方式。一、什么是 Adaptive Crawling一个知识电容器Crawl4AI 的作者将 Adaptive Crawling 类比为电容器——储存信息并在需要时精准释放。它的核心范式转变可以概括为一句话从 crawl everything, hope for the best爬取一切、听天由命变为 crawl intelligently, know when to stop智能爬取、知道何时停止。原文档给出的动机非常直接许多团队误以为用了 LLM 就等于高效但 LLM 只是让事情变得可能而非变得聪明。将蛮力深度爬取与 LLM 处理叠加浪费的不仅是时间更是 token 与算力开销。原博文报告的对比数据是引自 原文方式页面数有效内容token 成本耗时传统深度爬取500 页50 页有效$15约 2 小时自适应爬取15 页14 页有效$2约 10 分钟另一个更具代表性的场景是构建客服知识库传统做法爬整个文档站max_depth5得到 1,200 页、约 100 页有用自适应做法按真实用户查询payment processing errors refund policies生长45 页中 42 页全部相关。原文强调关键不是爬得更少而是爬得对crawlingright。在 Crawl4AI 中这套能力由crawl4ai包直接导出导入方式见 crawl4ai/init.pyfrom crawl4ai import AsyncWebCrawler, AdaptiveCrawler, AdaptiveConfig二、信息论基础三个智能支柱原博文的第一原则是纯统计没有魔法——先用经典统计方法不依赖 embedding 或 LLM。仓库源码中这一原则落在StatisticalStrategy类上它维护词频term frequency、文档频率document frequency两张表并用三个指标构成置信度。这三个指标即原文所称的Three Pillars of Intelligence。2.1 Coverage覆盖率广度传感器回答的不是有没有页面而是有没有对的页面。源码实现位于 adaptive_crawler.py 的_calculate_coverage对查询分词统计每个查询词在知识库中的文档覆盖率doc_coverage df / total_documents叠加归一化对数频率信号freq_signal log(1tf) / log(1max_tf)合成term_score doc_coverage * (1 0.5 * freq_signal)对所有查询词取平均后开平方根平方根曲线使部分覆盖与良好覆盖更易区分最终截断在[0, 1]。2.2 Consistency一致性连贯性检测器多来源的信息应当相互印证。源码adaptive_crawler.py用成对文档的 Jaccard 相似度衡量overlap len(terms_i terms_j) / len(terms_i | terms_j) consistency sum(overlaps) / len(overlaps)页面之间共识越多置信度越高若彼此冲突重叠低系统会推断还需要更多数据。2.3 Saturation饱和度效率守护者原文称之为最关键的指标当新页面不再贡献新信息时就停止爬取。源码adaptive_crawler.py通过new_terms_history每页新增词数计算saturation 1 - (recent_rate / initial_rate)初期每页带来大量新词近期速率下降则饱和度逼近 1触发停止。2.4 加权置信度与停止条件calculate_confidenceadaptive_crawler.py将三者加权合成总置信度源码中硬编码了默认权重confidence 0.4 * coverage 0.3 * consistency 0.3 * saturation注意AdaptiveConfig中同时提供了coverage_weight0.4、consistency_weight0.3、saturation_weight0.3三个可配置权重见 AdaptiveConfig但当前calculate_confidence使用的是固定权重——从源码结构看配置权重主要起声明与校验作用validate()会断言三者之和为 1实际调用仍以硬编码值计算。统计策略的停止判定should_stopadaptive_crawler.py有四个条件满足任一即停confidence confidence_threshold默认 0.7crawled_urls max_pages默认 20待爬队列pending_links为空saturation saturation_threshold默认 0.8。三、网络爬取的 A*信息气味与链接评分原文把这套机制称为 information scenting——像 A* 寻路一样不随机追随每个链接而是按对当前及未来查询贡献有意义信息的概率排序。这正是博文中的信息增益思想在源码里的落地# 信息增益计算——自适应爬取的核心原文示意 def calculate_information_gain(new_page, knowledge_base): new_terms extract_terms(new_page) - existing_terms(knowledge_base) overlap calculate_overlap(new_page, knowledge_base) gain len(new_terms) / (1 overlap) # 新词多、重叠少 → 增益高 return gain源码中StatisticalStrategy.rank_linksadaptive_crawler.py对每个候选链接计算三个分量score (config.relevance_weight * relevance # 默认 0.5 config.novelty_weight * novelty # 默认 0.3 config.authority_weight * authority) # 默认 0.2relevance链接预览文本text/title/meta 的 title、description、keywords与查询的匹配度若链接在爬取阶段已做过 BM25 上下文打分link.contextual_score则直接采用否则退化为查询词重叠率novelty链接文本中有多少比例是新词link_terms - existing_terms未知时给 0.5authority权重存在但当前恒取 1.0_calculate_authority已注释停用adaptive_crawler.py。链接预览数据来自_crawl_with_previewadaptive_crawler.py它在每次arun时挂载LinkPreviewConfig(include_internalTrue, queryquery, concurrency5, timeoutlink_preview_timeout, max_links50)并开启score_linksTrue让 Crawl4AI 的链接预览机制为每个内链抓取 head 数据并用查询词做 BM25 打分——这就是气味的来源。四、两种策略统计基线与嵌入语义增强4.1 Statistical 策略精确词、快而字面strategystatistical是默认策略纯统计、零模型依赖适合查询词与页面用词高度一致的场景。StatisticalStrategy还内置了 BM25 参数k11.2、b0.75见 adaptive_crawler.py作为相关性打分的备选路径。4.2 Embedding 策略语义空间中的覆盖EmbeddingStrategyadaptive_crawler.py在统计基线之上叠加语义理解其关键步骤是map_query_semantic_spaceadaptive_crawler.py用对话模型把查询扩成n_query_variations个语义变体多生成 30% 用于留出验证集80/20 划分原查询始终留在训练侧用embedding_model默认sentence-transformers/all-MiniLM-L6-v2嵌入这些变体得到查询的语义邻域点云用带缓存的向量化余弦距离矩阵_compute_distance_matrix衡量知识库文档对查询点的覆盖。由此实现博文所说的自动扩展查询、映射覆盖空间、智能识别缺口对authentication oauth这类查询它能理解 auth、login、SSO 属于同一语义区域而不是字面匹配。4.3 无关检测知道何时认输原文强调的最实用特性是embedding 策略知道何时放弃。源码中它对应EmbeddingStrategy.should_stopadaptive_crawler.py的最低相关性阈值检查# 检查置信度是否低于最低阈值完全不相关 if confidence min_confidence_threshold and len(state.crawled_urls) 0: state.metrics[stopped_reason] below_minimum_relevance_threshold state.metrics[is_irrelevant] True return True这就是博文示例中用意大利面查询爬 Python 官方文档置信度 5%低于阈值仅爬 2 页即停stopped_reason为below_minimum_relevance_threshold的底层实现。阈值由embedding_min_confidence_threshold默认 0.1控制可通过state.metrics读取停止原因。五、digest 主循环一次完整的自适应爬取所有策略最终由AdaptiveCrawleradaptive_crawler.py编排。构造函数会调用config.validate()校验参数合法性再按config.strategy创建对应策略。核心入口digest(start_url, query, resume_fromNone)的循环结构adaptive_crawler.py如下初始化/恢复状态若传resume_from从 JSON 文件反序列化CrawlState支持断点续爬否则新建查询空间扩展仅 embedding 策略且非恢复时执行map_query_semantic_space把查询变体与嵌入存入state.query_embeddings初始爬取用LinkPreviewConfig爬取start_url把成功的CrawlResult加入知识库内链dict 或 Links 对象两种形态均兼容进入pending_links循环depth max_depthcalculate_confidence计算当前置信度should_stop判定停止含上面各类阈值rank_links对候选链接评分若最高分低于min_gain_threshold默认 0.1则停止——增益太低不值得再爬取 toptop_k_links默认 3个链接_crawl_batch用asyncio.gather并行爬取失败的 URL 被过滤并打印新知识并入知识库新内链去重后追加到待爬队列update_state更新词频/嵌入等统计量若配置save_state每轮落盘一次state_path收尾计算最终置信度embedding 策略额外走get_quality_confidence映射为 0.7–0.95 区间的质量置信度写入pages_crawled、depth_reached指标后返回CrawlState若AdaptiveCrawler自己创建的AsyncWebCrawler会在finally中确保释放浏览器资源。CrawlStateadaptive_crawler.py承载全部运行态已爬 URL 集合、知识库、待爬链接、TF/DF 表、new_terms_history以及 embedding 策略专用的kb_embeddings、query_embeddings、expanded_queries、semantic_gaps。其save/load以 JSON 持久化numpy 数组转 list 存储这为知识库的跨会话生长与断点恢复提供了基础。六、AdaptiveConfig 全参数速查以下默认值直接来自 AdaptiveConfig 的源码注释validate()adaptive_crawler.py会对全部参数做断言校验。核心控制参数默认值说明confidence_threshold0.7置信度达到该值即停止max_depth5扩展轮数上限每轮爬一批 top-k 链接max_pages20最大爬取页面数top_k_links3每轮选取的最高分链接数min_gain_threshold0.1候选链接最高分低于此值则停止strategystatisticalstatistical/embedding其他取值抛ValueError三支柱权重与链接评分权重两组权重各自必须和为 1参数默认值说明coverage_weight0.4覆盖率权重consistency_weight0.3一致性权重saturation_weight0.3饱和度权重relevance_weight0.5链接相关性权重novelty_weight0.3链接新信息权重authority_weight0.2链接权威性权重saturation_threshold0.8饱和度停止阈值consistency_threshold0.7一致性阈值Embedding 策略专属参数默认值说明embedding_modelsentence-transformers/all-MiniLM-L6-v2本地嵌入模型可经embedding_llm_config改用 LLM 嵌入 APIn_query_variations10查询语义变体数量另多生成 30% 做验证coverage_threshold0.85覆盖目标alpha_shape_alpha0.5覆盖形状参数高维下退化为质心半径统计模型embedding_min_confidence_threshold0.1低于该值判定完全不相关并立即停止embedding_coverage_radius0.2查询点被视为已覆盖的余弦距离半径越小要求越严embedding_k_exp1.0距离→得分的指数衰减系数score exp(-k * distance)embedding_nearest_weight0.7最近邻在混合得分中的权重与 top-k 权重之和须为 1embedding_top_k_weight0.3top-k 平均得分权重embedding_overlap_threshold0.85与知识库相似度超此值的冗余链接会被降权embedding_min_relative_improvement0.1每批次的最小相对提升低于则停embedding_validation_min_score0.3验证分低于此值不信任收敛防止过早停止link_preview_timeout5.0链接预览超时秒持久化与 LLM 配置参数默认值说明save_state/state_pathFalse/None每轮把CrawlState写入 JSON配合digest(resume_frompath)断点续爬embedding_llm_configNone嵌入 API 配置LLMConfig或 dict为None时用本地 sentence-transformersquery_llm_configNone查询扩展对话补全配置缺省时回退到embedding_llm_config再缺省用内置默认 provider七、实战按需求生长的知识库7.1 最小可运行示例这是原文 Try It Yourself 的完整代码参数与源码默认值一一对应from crawl4ai import AsyncWebCrawler, AdaptiveCrawler, AdaptiveConfig async with AsyncWebCrawler() as crawler: # 选择策略 config AdaptiveConfig( strategyembedding, # 或 statistical embedding_min_confidence_threshold0.1 # 低于此值判定无关并停止 ) adaptive AdaptiveCrawler(crawler, config) result await adaptive.digest( start_urlhttps://your-docs.com, queryyour users actual questions ) adaptive.print_stats() print(fFound {adaptive.confidence:.0%} of needed information) print(fIn just {len(result.crawled_urls)} pages)注意两个策略的典型表现差异原文给出的对比示例查询authentication oauth时统计策略按精确词搜索、爬 12 页、置信度 78%快但字面embedding 策略理解 auth/login/SSO 的同义关系爬 8 页、置信度 92%。7.2 观察动态生长原文用了一个漂亮的比喻知识库像过饱和溶液中的晶体——加一个查询种子相关信息围绕它结晶换查询知识结构随之调整。用两个不同查询连续digest同一站点# 周一客户问认证 auth_knowledge await adaptive.digest( https://docs.api.com, oauth jwt authentication ) # 周二客户问限流——爬虫在已有知识上继续生长 rate_limit_knowledge await adaptive.digest( https://docs.api.com, rate limiting throttling quotas )配合save_stateTrue, state_path./kb_state.json第二次可以用resume_from直接恢复第一次的状态而不是从零爬起。7.3 查看统计与导出知识库adaptive.print_stats(detailedFalse)基于 rich 表格输出页数、唯一词数、内容长度、置信度、coverage/consistency/saturation统计策略或 validation score/Is Sufficientembedding 策略detailedTrue还会打印 top 20 词、逐 URL 的新增词数、DF 分布与查询空间样本adaptive_crawler.pyadaptive.coverage_stats属性返回同一指标的 dict 形式便于程序化消费adaptive.is_sufficient统计策略比较confidence confidence_thresholdembedding 策略以验证集是否通过为准export_knowledge_base(filepath, formatjsonl)/import_knowledge_base(filepath)adaptive_crawler.py以 JSONL 导出/导入知识库每条记录含 url、markdown 内容、链接与爬取元数据爬取顺序、爬取时置信度方便把知识库喂给下游 LLM 或 RAG 管线。更多可运行的示例脚本可参考仓库的 docs/examples/adaptive_crawling/ 目录basic_usage.py、custom_strategies.py、embedding_configuration.py等配套 API 文档见 docs/md_v2/core/adaptive-crawling.md。八、渐进式路线图统计 → 嵌入 → LLM原文给出了 Adaptive Crawling 的三阶段路线与源码现状可以互相印证Phase 1已实现统计基础——纯信息论不依赖昂贵模型StatisticalStrategy即其落点Phase 2当前可用嵌入增强——在统计基线上叠加语义理解可选strategyembedding默认模型为本地小模型all-MiniLM-L6-v2不引入 LLM 成本即可工作Phase 3规划中LLM 集成——LLM 只用于复杂推理、外科手术式使用且始终架在统计基础之上。从源码结构看query_llm_config让 LLM 目前仅参与查询扩展对话补全链接选择与停止判定仍由统计/向量信号完成——这与LLM 不浪费在批量处理上的理念一致。仓库根目录还有一篇数学框架长文 PROGRESSIVE_CRAWLING.md是对同一思想的更完整推导适合作延伸阅读。九、总结处理对的数据而不是处理更多数据Adaptive Crawling 的设计哲学可以浓缩为原博文结尾的那句话Grow knowledge on demand. Stop when you have enough.按需生长知识够了就停。落到工程上它是三件事的组合用 TF/DF、Jaccard、词发现速率等统计信号量化够不够coverage / consistency / saturation用查询感知的链接预览 信息增益排序决定先爬谁relevance / novelty 加权评分用digest循环把两者闭环起来并让 embedding 策略在语义空间里进一步识别覆盖缺口、检测无关查询。对维护文档站知识库、API 文档 RAG、竞品资料监测这类查询驱动的采集场景这套机制把爬满 1,000 页的问题转化为回答一个查询需要多少页的问题——这也正是 Crawl4AI 中 AdaptiveCrawler 区别于crawl_bfs/dfs等既有深度爬取策略的核心价值。【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Crawl4AI 自适应爬取（Adaptive Crawling）实战：按查询生长、在信息饱和时停止的“知识电容器“
Crawl4AI 自适应爬取Adaptive Crawling实战按查询生长、在信息饱和时停止的知识电容器【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4aiAdaptive Crawling自适应爬取是 Crawl4AI 中一种与传统深度爬取截然不同的思路它不追求爬遍全站而是围绕一个具体查询query动态生长知识库并通过覆盖率、一致性、饱和度三类统计信号判断何时该停止。本文基于仓库中的官方博文 adaptive-crawling-revolution.md 展开并结合 crawl4ai/adaptive_crawler.py 的源码实现带你完整掌握其信息论基础、两种策略statistical / embedding的原理与全部配置参数以及digest主循环的实际工作方式。一、什么是 Adaptive Crawling一个知识电容器Crawl4AI 的作者将 Adaptive Crawling 类比为电容器——储存信息并在需要时精准释放。它的核心范式转变可以概括为一句话从 crawl everything, hope for the best爬取一切、听天由命变为 crawl intelligently, know when to stop智能爬取、知道何时停止。原文档给出的动机非常直接许多团队误以为用了 LLM 就等于高效但 LLM 只是让事情变得可能而非变得聪明。将蛮力深度爬取与 LLM 处理叠加浪费的不仅是时间更是 token 与算力开销。原博文报告的对比数据是引自 原文方式页面数有效内容token 成本耗时传统深度爬取500 页50 页有效$15约 2 小时自适应爬取15 页14 页有效$2约 10 分钟另一个更具代表性的场景是构建客服知识库传统做法爬整个文档站max_depth5得到 1,200 页、约 100 页有用自适应做法按真实用户查询payment processing errors refund policies生长45 页中 42 页全部相关。原文强调关键不是爬得更少而是爬得对crawlingright。在 Crawl4AI 中这套能力由crawl4ai包直接导出导入方式见 crawl4ai/init.pyfrom crawl4ai import AsyncWebCrawler, AdaptiveCrawler, AdaptiveConfig二、信息论基础三个智能支柱原博文的第一原则是纯统计没有魔法——先用经典统计方法不依赖 embedding 或 LLM。仓库源码中这一原则落在StatisticalStrategy类上它维护词频term frequency、文档频率document frequency两张表并用三个指标构成置信度。这三个指标即原文所称的Three Pillars of Intelligence。2.1 Coverage覆盖率广度传感器回答的不是有没有页面而是有没有对的页面。源码实现位于 adaptive_crawler.py 的_calculate_coverage对查询分词统计每个查询词在知识库中的文档覆盖率doc_coverage df / total_documents叠加归一化对数频率信号freq_signal log(1tf) / log(1max_tf)合成term_score doc_coverage * (1 0.5 * freq_signal)对所有查询词取平均后开平方根平方根曲线使部分覆盖与良好覆盖更易区分最终截断在[0, 1]。2.2 Consistency一致性连贯性检测器多来源的信息应当相互印证。源码adaptive_crawler.py用成对文档的 Jaccard 相似度衡量overlap len(terms_i terms_j) / len(terms_i | terms_j) consistency sum(overlaps) / len(overlaps)页面之间共识越多置信度越高若彼此冲突重叠低系统会推断还需要更多数据。2.3 Saturation饱和度效率守护者原文称之为最关键的指标当新页面不再贡献新信息时就停止爬取。源码adaptive_crawler.py通过new_terms_history每页新增词数计算saturation 1 - (recent_rate / initial_rate)初期每页带来大量新词近期速率下降则饱和度逼近 1触发停止。2.4 加权置信度与停止条件calculate_confidenceadaptive_crawler.py将三者加权合成总置信度源码中硬编码了默认权重confidence 0.4 * coverage 0.3 * consistency 0.3 * saturation注意AdaptiveConfig中同时提供了coverage_weight0.4、consistency_weight0.3、saturation_weight0.3三个可配置权重见 AdaptiveConfig但当前calculate_confidence使用的是固定权重——从源码结构看配置权重主要起声明与校验作用validate()会断言三者之和为 1实际调用仍以硬编码值计算。统计策略的停止判定should_stopadaptive_crawler.py有四个条件满足任一即停confidence confidence_threshold默认 0.7crawled_urls max_pages默认 20待爬队列pending_links为空saturation saturation_threshold默认 0.8。三、网络爬取的 A*信息气味与链接评分原文把这套机制称为 information scenting——像 A* 寻路一样不随机追随每个链接而是按对当前及未来查询贡献有意义信息的概率排序。这正是博文中的信息增益思想在源码里的落地# 信息增益计算——自适应爬取的核心原文示意 def calculate_information_gain(new_page, knowledge_base): new_terms extract_terms(new_page) - existing_terms(knowledge_base) overlap calculate_overlap(new_page, knowledge_base) gain len(new_terms) / (1 overlap) # 新词多、重叠少 → 增益高 return gain源码中StatisticalStrategy.rank_linksadaptive_crawler.py对每个候选链接计算三个分量score (config.relevance_weight * relevance # 默认 0.5 config.novelty_weight * novelty # 默认 0.3 config.authority_weight * authority) # 默认 0.2relevance链接预览文本text/title/meta 的 title、description、keywords与查询的匹配度若链接在爬取阶段已做过 BM25 上下文打分link.contextual_score则直接采用否则退化为查询词重叠率novelty链接文本中有多少比例是新词link_terms - existing_terms未知时给 0.5authority权重存在但当前恒取 1.0_calculate_authority已注释停用adaptive_crawler.py。链接预览数据来自_crawl_with_previewadaptive_crawler.py它在每次arun时挂载LinkPreviewConfig(include_internalTrue, queryquery, concurrency5, timeoutlink_preview_timeout, max_links50)并开启score_linksTrue让 Crawl4AI 的链接预览机制为每个内链抓取 head 数据并用查询词做 BM25 打分——这就是气味的来源。四、两种策略统计基线与嵌入语义增强4.1 Statistical 策略精确词、快而字面strategystatistical是默认策略纯统计、零模型依赖适合查询词与页面用词高度一致的场景。StatisticalStrategy还内置了 BM25 参数k11.2、b0.75见 adaptive_crawler.py作为相关性打分的备选路径。4.2 Embedding 策略语义空间中的覆盖EmbeddingStrategyadaptive_crawler.py在统计基线之上叠加语义理解其关键步骤是map_query_semantic_spaceadaptive_crawler.py用对话模型把查询扩成n_query_variations个语义变体多生成 30% 用于留出验证集80/20 划分原查询始终留在训练侧用embedding_model默认sentence-transformers/all-MiniLM-L6-v2嵌入这些变体得到查询的语义邻域点云用带缓存的向量化余弦距离矩阵_compute_distance_matrix衡量知识库文档对查询点的覆盖。由此实现博文所说的自动扩展查询、映射覆盖空间、智能识别缺口对authentication oauth这类查询它能理解 auth、login、SSO 属于同一语义区域而不是字面匹配。4.3 无关检测知道何时认输原文强调的最实用特性是embedding 策略知道何时放弃。源码中它对应EmbeddingStrategy.should_stopadaptive_crawler.py的最低相关性阈值检查# 检查置信度是否低于最低阈值完全不相关 if confidence min_confidence_threshold and len(state.crawled_urls) 0: state.metrics[stopped_reason] below_minimum_relevance_threshold state.metrics[is_irrelevant] True return True这就是博文示例中用意大利面查询爬 Python 官方文档置信度 5%低于阈值仅爬 2 页即停stopped_reason为below_minimum_relevance_threshold的底层实现。阈值由embedding_min_confidence_threshold默认 0.1控制可通过state.metrics读取停止原因。五、digest 主循环一次完整的自适应爬取所有策略最终由AdaptiveCrawleradaptive_crawler.py编排。构造函数会调用config.validate()校验参数合法性再按config.strategy创建对应策略。核心入口digest(start_url, query, resume_fromNone)的循环结构adaptive_crawler.py如下初始化/恢复状态若传resume_from从 JSON 文件反序列化CrawlState支持断点续爬否则新建查询空间扩展仅 embedding 策略且非恢复时执行map_query_semantic_space把查询变体与嵌入存入state.query_embeddings初始爬取用LinkPreviewConfig爬取start_url把成功的CrawlResult加入知识库内链dict 或 Links 对象两种形态均兼容进入pending_links循环depth max_depthcalculate_confidence计算当前置信度should_stop判定停止含上面各类阈值rank_links对候选链接评分若最高分低于min_gain_threshold默认 0.1则停止——增益太低不值得再爬取 toptop_k_links默认 3个链接_crawl_batch用asyncio.gather并行爬取失败的 URL 被过滤并打印新知识并入知识库新内链去重后追加到待爬队列update_state更新词频/嵌入等统计量若配置save_state每轮落盘一次state_path收尾计算最终置信度embedding 策略额外走get_quality_confidence映射为 0.7–0.95 区间的质量置信度写入pages_crawled、depth_reached指标后返回CrawlState若AdaptiveCrawler自己创建的AsyncWebCrawler会在finally中确保释放浏览器资源。CrawlStateadaptive_crawler.py承载全部运行态已爬 URL 集合、知识库、待爬链接、TF/DF 表、new_terms_history以及 embedding 策略专用的kb_embeddings、query_embeddings、expanded_queries、semantic_gaps。其save/load以 JSON 持久化numpy 数组转 list 存储这为知识库的跨会话生长与断点恢复提供了基础。六、AdaptiveConfig 全参数速查以下默认值直接来自 AdaptiveConfig 的源码注释validate()adaptive_crawler.py会对全部参数做断言校验。核心控制参数默认值说明confidence_threshold0.7置信度达到该值即停止max_depth5扩展轮数上限每轮爬一批 top-k 链接max_pages20最大爬取页面数top_k_links3每轮选取的最高分链接数min_gain_threshold0.1候选链接最高分低于此值则停止strategystatisticalstatistical/embedding其他取值抛ValueError三支柱权重与链接评分权重两组权重各自必须和为 1参数默认值说明coverage_weight0.4覆盖率权重consistency_weight0.3一致性权重saturation_weight0.3饱和度权重relevance_weight0.5链接相关性权重novelty_weight0.3链接新信息权重authority_weight0.2链接权威性权重saturation_threshold0.8饱和度停止阈值consistency_threshold0.7一致性阈值Embedding 策略专属参数默认值说明embedding_modelsentence-transformers/all-MiniLM-L6-v2本地嵌入模型可经embedding_llm_config改用 LLM 嵌入 APIn_query_variations10查询语义变体数量另多生成 30% 做验证coverage_threshold0.85覆盖目标alpha_shape_alpha0.5覆盖形状参数高维下退化为质心半径统计模型embedding_min_confidence_threshold0.1低于该值判定完全不相关并立即停止embedding_coverage_radius0.2查询点被视为已覆盖的余弦距离半径越小要求越严embedding_k_exp1.0距离→得分的指数衰减系数score exp(-k * distance)embedding_nearest_weight0.7最近邻在混合得分中的权重与 top-k 权重之和须为 1embedding_top_k_weight0.3top-k 平均得分权重embedding_overlap_threshold0.85与知识库相似度超此值的冗余链接会被降权embedding_min_relative_improvement0.1每批次的最小相对提升低于则停embedding_validation_min_score0.3验证分低于此值不信任收敛防止过早停止link_preview_timeout5.0链接预览超时秒持久化与 LLM 配置参数默认值说明save_state/state_pathFalse/None每轮把CrawlState写入 JSON配合digest(resume_frompath)断点续爬embedding_llm_configNone嵌入 API 配置LLMConfig或 dict为None时用本地 sentence-transformersquery_llm_configNone查询扩展对话补全配置缺省时回退到embedding_llm_config再缺省用内置默认 provider七、实战按需求生长的知识库7.1 最小可运行示例这是原文 Try It Yourself 的完整代码参数与源码默认值一一对应from crawl4ai import AsyncWebCrawler, AdaptiveCrawler, AdaptiveConfig async with AsyncWebCrawler() as crawler: # 选择策略 config AdaptiveConfig( strategyembedding, # 或 statistical embedding_min_confidence_threshold0.1 # 低于此值判定无关并停止 ) adaptive AdaptiveCrawler(crawler, config) result await adaptive.digest( start_urlhttps://your-docs.com, queryyour users actual questions ) adaptive.print_stats() print(fFound {adaptive.confidence:.0%} of needed information) print(fIn just {len(result.crawled_urls)} pages)注意两个策略的典型表现差异原文给出的对比示例查询authentication oauth时统计策略按精确词搜索、爬 12 页、置信度 78%快但字面embedding 策略理解 auth/login/SSO 的同义关系爬 8 页、置信度 92%。7.2 观察动态生长原文用了一个漂亮的比喻知识库像过饱和溶液中的晶体——加一个查询种子相关信息围绕它结晶换查询知识结构随之调整。用两个不同查询连续digest同一站点# 周一客户问认证 auth_knowledge await adaptive.digest( https://docs.api.com, oauth jwt authentication ) # 周二客户问限流——爬虫在已有知识上继续生长 rate_limit_knowledge await adaptive.digest( https://docs.api.com, rate limiting throttling quotas )配合save_stateTrue, state_path./kb_state.json第二次可以用resume_from直接恢复第一次的状态而不是从零爬起。7.3 查看统计与导出知识库adaptive.print_stats(detailedFalse)基于 rich 表格输出页数、唯一词数、内容长度、置信度、coverage/consistency/saturation统计策略或 validation score/Is Sufficientembedding 策略detailedTrue还会打印 top 20 词、逐 URL 的新增词数、DF 分布与查询空间样本adaptive_crawler.pyadaptive.coverage_stats属性返回同一指标的 dict 形式便于程序化消费adaptive.is_sufficient统计策略比较confidence confidence_thresholdembedding 策略以验证集是否通过为准export_knowledge_base(filepath, formatjsonl)/import_knowledge_base(filepath)adaptive_crawler.py以 JSONL 导出/导入知识库每条记录含 url、markdown 内容、链接与爬取元数据爬取顺序、爬取时置信度方便把知识库喂给下游 LLM 或 RAG 管线。更多可运行的示例脚本可参考仓库的 docs/examples/adaptive_crawling/ 目录basic_usage.py、custom_strategies.py、embedding_configuration.py等配套 API 文档见 docs/md_v2/core/adaptive-crawling.md。八、渐进式路线图统计 → 嵌入 → LLM原文给出了 Adaptive Crawling 的三阶段路线与源码现状可以互相印证Phase 1已实现统计基础——纯信息论不依赖昂贵模型StatisticalStrategy即其落点Phase 2当前可用嵌入增强——在统计基线上叠加语义理解可选strategyembedding默认模型为本地小模型all-MiniLM-L6-v2不引入 LLM 成本即可工作Phase 3规划中LLM 集成——LLM 只用于复杂推理、外科手术式使用且始终架在统计基础之上。从源码结构看query_llm_config让 LLM 目前仅参与查询扩展对话补全链接选择与停止判定仍由统计/向量信号完成——这与LLM 不浪费在批量处理上的理念一致。仓库根目录还有一篇数学框架长文 PROGRESSIVE_CRAWLING.md是对同一思想的更完整推导适合作延伸阅读。九、总结处理对的数据而不是处理更多数据Adaptive Crawling 的设计哲学可以浓缩为原博文结尾的那句话Grow knowledge on demand. Stop when you have enough.按需生长知识够了就停。落到工程上它是三件事的组合用 TF/DF、Jaccard、词发现速率等统计信号量化够不够coverage / consistency / saturation用查询感知的链接预览 信息增益排序决定先爬谁relevance / novelty 加权评分用digest循环把两者闭环起来并让 embedding 策略在语义空间里进一步识别覆盖缺口、检测无关查询。对维护文档站知识库、API 文档 RAG、竞品资料监测这类查询驱动的采集场景这套机制把爬满 1,000 页的问题转化为回答一个查询需要多少页的问题——这也正是 Crawl4AI 中 AdaptiveCrawler 区别于crawl_bfs/dfs等既有深度爬取策略的核心价值。【免费下载链接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN项目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
