第 20 章 爬虫与自动化

本章学习目标

• 使用 httpx 异步客户端高效抓取网页
• 使用 BeautifulSoup 解析静态 HTML 页面
• 使用 Playwright async 处理 JavaScript 动态渲染页面
• 实现限速、并发控制和代理轮换
• 理解反爬机制并采用合规的规避策略
• 尊重 robots.txt 和网站服务条款

20.1 爬虫工具选型

类比：选爬虫工具像选交通工具——httpx 是自行车（轻快、适合短途），Playwright 是越野车（能到任何地方但费油），Scrapy 是货运列车（一次拉大量货物但需要铁轨）。