影刀RPA避坑指南_网页反爬虫机制应对IP代理UserAgent与Cookie管理
影刀RPA避坑指南：网页反爬虫机制应对——IP代理User-Agent与Cookie管理
用影刀RPA做数据采集，最头疼的不是技术，是采集到一半被网站"制裁"了——IP被封、请求被拒、弹验证码。
这不是你能不能采集的问题，而是怎么"文明采集"的问题。这篇讲常见的反爬机制和应对方法。
反爬的五个层级
| 层级 | 检测手段 | 难度 | 影刀RPA应对 |
|---|---|---|---|
| L1 | User-Agent检查 | 低 | 设置UA伪装 |
| L2 | 请求频率检测 | 低 | 随机延时 |
| L3 | IP频率限制 | 中 | 代理IP池 |
| L4 | Cookie/登录态验证 | 中 | Cookie持久化+自动登录 |
| L5 | 验证码/行为分析 | 高 | 降频+模拟真人+人工介入 |
建议：逐层应对，不是所有网站都需要上到L5。大多数电商平台的采集做到L3就够了。
L1：User-Agent伪装
每个HTTP请求都带一个User-Agent标识，告诉网站你用的什么浏览器。影刀浏览器默认的UA是带了"自动化"标记的。
# 常见UA伪装列表（随机抽取）ua_list=['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/119.0.0.0','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/120.0.0.0',]# 影刀HTTP请求指令 → 请求头：# User-Agent: {随机选一个}影刀内置浏览器：设置→高级→自定义User-Agent，改成普通Chrome的UA即可。
店群矩阵自动化突破运营极限！
L2：请求频率控制
频率控制不是简单加等待，要模仿人类浏览的节奏：
importrandomimporttimedefsmart_delay(action_type):"""根据操作类型返回合理的延迟"""delays={'page_load':(2.0,5.0),# 页面加载'scroll':(0.8,2.5),# 滚动'click':(0.5,1.5),# 点击'read':(1.0,4.0),# 读取数据'next_page':(3.0,8.0),# 翻页'search':(1.5,4.0),# 搜索后}low,high=delays.get(action_type,(1.0,3.0))time.sleep(random.uniform(low,high))翻页频率建议：
- 搜索引擎类：3~8秒/页
- 电商类目页：2~5秒/页
- 社交媒体类：5~10秒/页
L3：代理IP
当同一个IP短时间内发大量请求，网站会封IP。解决方案是用代理。
付费代理方案
主流代理服务商的接入方式：
# 影刀的HTTP请求设置代理# 在HTTP请求指令配置中：# 代理设置 → 手动代理# 代理地址：proxy.example.com:8080# 代理账号：your_username# 代理密码：your_password选购建议：
- 短效代理（1~5分钟）：适合高频采集，IP自动切换
- 长效代理（按天）：适合需要稳定IP的场景（如登录态维护）
- 不推荐免费代理：慢、不稳定、数据可能被窃取
低成本方案：拨号宽带
如果采集量不大，用家里的拨号宽带每天重启一次路由器就换一个公网IP，比买代理便宜。
L4：Cookie和登录态
Cookie持久化
影刀浏览器关闭后Cookie就没了，下次重新登录浪费时间：
# 思路：每次跑完流程，把关键Cookie存储到文件# 下次开始时先加载Cookie# 保存Cookie（Python代码块）importjson cookies=get_browser_cookies()# 获取当前浏览器Cookiewithopen(r'C:\配置\cookies.json','w')asf:json.dump(cookies,f)# 加载Cookiewithopen(r'C:\配置\cookies.json')asf:cookies=json.load(f)set_browser_cookies(cookies)# 注入到浏览器但Cookie有过期时间，一般是几小时到几天。过期后自动走登录流程就行。
temu店群自动化报活动案例
自动登录
# 登录态检测流程# 1. 打开目标网站# 2. 判断是否已登录（检查页面是否有"退出登录"按钮或个人中心入口）# 已登录 → 继续主流程# 未登录 → 执行登录子流程# 3. 登录子流程：# - 点击登录按钮# - 输入账号密码# - 处理验证码（如果有）# - 验证登录结果L5：验证码应对
验证码是终极防线，策略是"能避则避"：
- 降低频率到不会触发验证码：这是最优解
- 触发验证码后的处理：
- 截图保存验证码页面
- 发通知告知需要人工处理
- 暂停当前任务，跳到下一个任务
# 验证码检测与处理ifcheck_captcha_exists():screenshot("captcha_alert")send_notification("流程遇到验证码，需要人工处理")skip_current_task()# 跳到下一个任务# 注意：不要写自动识别验证码的逻辑# 这种做法不稳定，且可能违反网站条款数据采集的道德底线
- 遵守robots.txt：网站给你的爬虫指引，Disallow的不采
- 遵守网站条款：用户协议里如果明确禁止自动化采集，就不要碰
- 不影响网站正常服务：凌晨采集、控制并发、不要打垮对方服务器
- 不采集个人隐私数据：用户手机号、地址等隐私信息绝不对接
- 商业数据用于内部分析：采集竞品数据用于运营分析可以，但不要二次倒卖
#影刀RPA #RPA自动化 #反爬虫 #代理IP #数据采集安全
作者：林焱
本文为《影刀RPA学习手册》系列文章之一，内容源于实操经验的整理与分享。