Scrapling 网页抓取快速上手指南从单个请求到 Cloudflare 反爬的完整方案【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling上周帮同事排查爬虫他连续两天都在调 User-Agent 和请求头抓取的页面却始终返回 403。问题不在头部而在 TLS 握手层的指纹和站点的 JS 反爬——这是 Scrapling 网页抓取框架要解决的事把发请求、渲染 JS 页面、过 Cloudflare 人机验证收进一套 API。它覆盖从单次 HTTP 请求到带断点续抓的全量爬取下面按能干什么 → 跑起来 → 按场景选 → 上生产 → 避坑的顺序讲清楚。 能力速览它到底能干什么Scrapling 把抓取拆成三档纯 HTTP 请求的Fetcher、开浏览器渲染 JS 的DynamicFetcher、专门对付反爬检测的StealthyFetcher每一档都有对应的长连接会话版类。拿回来的页面对象本身就是解析器支持 CSS 和 XPath 选择还能按内容特征自适应定位元素——站点改版后帮你把选择器重新找回来。对比 requests BeautifulSoup Playwright 反检测脚本各用一套的组合你省掉的是四个库之间的胶水代码以及方案升级时的重写成本。⚡ 三步跑通你的第一次抓取环境准备需要 Python 3.10。[fetchers]是可选依赖组装上它才有抓取器装完执行scrapling install下载浏览器运行环境pip install scrapling[fetchers] scrapling install最小可运行示例三行代码验证环境from scrapling.fetchers import Fetcher page Fetcher.get(https://example.com) print(page.status) # 200 print(page.get_all_text()) # 页面全部文本page.status是 HTTP 状态码这里应打印 200。关键点在于page拿到后可以直接选元素不用再转一层 BeautifulSoup。 按需求选对方案三个真实场景静态页面Fetcher 直接打列表页、详情页大多是纯静态的不用起浏览器。Fetcher底层是curl_cffi默认就在 TLS 层伪装成真实 Chrome 的指纹——不是只改请求头而是让整个握手特征都对得上很多靠 TLS 指纹拦请求的站它直接就能过。想换浏览器可以传impersonatesafari这样的参数。更多请求参数见 docs/fetching/static.md。page Fetcher.get(https://quotes.toscrape.com, impersonatechrome) quotes page.css(.quote .text).get_all() print(quotes[0])JS 渲染页DynamicFetcher 开浏览器内容是前端脚本生成的返回的原始 HTML 只是个空壳得等 JS 执行完再拿。DynamicFetcher打开无头 Chromium 渲染完再返回network_idleTrue表示 500ms 内没有新网络请求才返回怕时序不稳就传wait_selector.target等关键元素出现再走。参数细节见 docs/fetching/dynamic.md。from scrapling.fetchers import DynamicFetcher page DynamicFetcher.fetch(https://quotes.toscrape.com/js/, network_idleTrue) print(page.get_all_text())Cloudflare 站点StealthyFetcher 过验证页面挂着 Cloudflare 人机验证时换StealthyFetcher。它默认就堵掉了 Playwright 特征、WebRTC 泄漏给 canvas 加了噪再传solve_cloudflareTrue它会自己识别并解掉各类验证挑战过了才把页面交给你。完整的反检测参数表见 docs/fetching/stealthy.md。from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch(https://target-site.com, solve_cloudflareTrue) print(page.status)这一档省掉的是自己研究 Turnstile 验证和指纹对抗的全部工作量一次调用换回整个页面。 从 Demo 到稳定跑会话、限速与断点批量抓的时候用会话版类FetcherSession、StealthySession等替代单次 fetch浏览器只启动一次后续请求复用同一个启动开销从每页一次变成整个任务一次。任务要长期跑再叠三件事限速用 scrapling/spiders/throttle.py 里的模块控制节奏避免把目标站打挂IP 容易被拉黑就接代理轮询长任务开断点续抓中途断线从上次的位置继续不用从零重来。Spider 框架的完整架构见 docs/spiders/architecture.md。另外有个防改版的保险首次抓取时对元素开启auto_saveTrue保存内容特征之后传adaptiveTrue选择器失效时它会按特征重新定位而不是整条管道停摆。 三个最容易被卡住的点import Fetcher 报 ModuleNotFoundError默认安装只含解析引擎抓取器是可选依赖。补装pip install scrapling[fetchers]并跑scrapling install。动态页拿到的文本是空的JS 还没执行完就返回了。给DynamicFetcher.fetch加network_idleTrue或wait_selector。目标站改版选择器集体失效用自适应模式adaptiveTrueauto_saveTrue按内容特征重新定位元素。从你手头最难受的那个页面开始先用Fetcher.get确认内容就在 HTML 里不行再逐级升到DynamicFetcher和StealthyFetcher——三行代码就能判断出该用哪一级方案。【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Scrapling 网页抓取快速上手指南：从单个请求到 Cloudflare 反爬的完整方案
Scrapling 网页抓取快速上手指南从单个请求到 Cloudflare 反爬的完整方案【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling上周帮同事排查爬虫他连续两天都在调 User-Agent 和请求头抓取的页面却始终返回 403。问题不在头部而在 TLS 握手层的指纹和站点的 JS 反爬——这是 Scrapling 网页抓取框架要解决的事把发请求、渲染 JS 页面、过 Cloudflare 人机验证收进一套 API。它覆盖从单次 HTTP 请求到带断点续抓的全量爬取下面按能干什么 → 跑起来 → 按场景选 → 上生产 → 避坑的顺序讲清楚。 能力速览它到底能干什么Scrapling 把抓取拆成三档纯 HTTP 请求的Fetcher、开浏览器渲染 JS 的DynamicFetcher、专门对付反爬检测的StealthyFetcher每一档都有对应的长连接会话版类。拿回来的页面对象本身就是解析器支持 CSS 和 XPath 选择还能按内容特征自适应定位元素——站点改版后帮你把选择器重新找回来。对比 requests BeautifulSoup Playwright 反检测脚本各用一套的组合你省掉的是四个库之间的胶水代码以及方案升级时的重写成本。⚡ 三步跑通你的第一次抓取环境准备需要 Python 3.10。[fetchers]是可选依赖组装上它才有抓取器装完执行scrapling install下载浏览器运行环境pip install scrapling[fetchers] scrapling install最小可运行示例三行代码验证环境from scrapling.fetchers import Fetcher page Fetcher.get(https://example.com) print(page.status) # 200 print(page.get_all_text()) # 页面全部文本page.status是 HTTP 状态码这里应打印 200。关键点在于page拿到后可以直接选元素不用再转一层 BeautifulSoup。 按需求选对方案三个真实场景静态页面Fetcher 直接打列表页、详情页大多是纯静态的不用起浏览器。Fetcher底层是curl_cffi默认就在 TLS 层伪装成真实 Chrome 的指纹——不是只改请求头而是让整个握手特征都对得上很多靠 TLS 指纹拦请求的站它直接就能过。想换浏览器可以传impersonatesafari这样的参数。更多请求参数见 docs/fetching/static.md。page Fetcher.get(https://quotes.toscrape.com, impersonatechrome) quotes page.css(.quote .text).get_all() print(quotes[0])JS 渲染页DynamicFetcher 开浏览器内容是前端脚本生成的返回的原始 HTML 只是个空壳得等 JS 执行完再拿。DynamicFetcher打开无头 Chromium 渲染完再返回network_idleTrue表示 500ms 内没有新网络请求才返回怕时序不稳就传wait_selector.target等关键元素出现再走。参数细节见 docs/fetching/dynamic.md。from scrapling.fetchers import DynamicFetcher page DynamicFetcher.fetch(https://quotes.toscrape.com/js/, network_idleTrue) print(page.get_all_text())Cloudflare 站点StealthyFetcher 过验证页面挂着 Cloudflare 人机验证时换StealthyFetcher。它默认就堵掉了 Playwright 特征、WebRTC 泄漏给 canvas 加了噪再传solve_cloudflareTrue它会自己识别并解掉各类验证挑战过了才把页面交给你。完整的反检测参数表见 docs/fetching/stealthy.md。from scrapling.fetchers import StealthyFetcher page StealthyFetcher.fetch(https://target-site.com, solve_cloudflareTrue) print(page.status)这一档省掉的是自己研究 Turnstile 验证和指纹对抗的全部工作量一次调用换回整个页面。 从 Demo 到稳定跑会话、限速与断点批量抓的时候用会话版类FetcherSession、StealthySession等替代单次 fetch浏览器只启动一次后续请求复用同一个启动开销从每页一次变成整个任务一次。任务要长期跑再叠三件事限速用 scrapling/spiders/throttle.py 里的模块控制节奏避免把目标站打挂IP 容易被拉黑就接代理轮询长任务开断点续抓中途断线从上次的位置继续不用从零重来。Spider 框架的完整架构见 docs/spiders/architecture.md。另外有个防改版的保险首次抓取时对元素开启auto_saveTrue保存内容特征之后传adaptiveTrue选择器失效时它会按特征重新定位而不是整条管道停摆。 三个最容易被卡住的点import Fetcher 报 ModuleNotFoundError默认安装只含解析引擎抓取器是可选依赖。补装pip install scrapling[fetchers]并跑scrapling install。动态页拿到的文本是空的JS 还没执行完就返回了。给DynamicFetcher.fetch加network_idleTrue或wait_selector。目标站改版选择器集体失效用自适应模式adaptiveTrueauto_saveTrue按内容特征重新定位元素。从你手头最难受的那个页面开始先用Fetcher.get确认内容就在 HTML 里不行再逐级升到DynamicFetcher和StealthyFetcher——三行代码就能判断出该用哪一级方案。【免费下载链接】Scrapling️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Dont be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
