简介本资源是一套面向金融数据分析从业者、NLP研究者及量化初学者的实战型数据采集工具包聚焦于解决上市公司财务报表结构化数据难以自动化获取的痛点特别适配data2text任务中的高质量输入数据构建需求。压缩包共9个文件375KB含5个核心txt配置与日志文件如stocks.txt、failed_stocks.txt、1个Python主爬虫脚本main.py、1个Markdown说明文档README.md、1个PNG示例数据图data-example.png及1个Word附赠资料含进阶分析提示类型分布体现“配置—执行—验证—拓展”完整链路。已有55人学习下载。用户可直接运行Selenium自动化脚本实现同花顺财报页面的模拟登录、动态渲染抓取与分页遍历内置cookie自动更新机制与浏览器行为伪装策略有效应对反爬拦截配套说明文件详述环境配置、参数调优与异常处理逻辑降低部署门槛助力快速复现与二次开发。1. 项目概述从数据采集到文本生成的自动化管道最近在做一个金融领域的自然语言生成项目核心任务是把枯燥的财务报表数字自动转化成一段通顺、有逻辑的业务分析报告也就是所谓的“data2text”。这个想法听起来挺酷但第一步就卡住了数据从哪来我需要大量、结构化、干净的上市公司财务数据作为“原料”。手动去财经网站一页页复制粘贴那简直是噩梦效率低不说还容易出错。市面上的付费数据库要么太贵要么数据格式不满足我的特定需求。于是很自然地我把目光投向了网络爬虫目标锁定在同花顺这类信息聚合平台。为什么是同花顺因为它数据相对全面、更新及时而且页面结构对于上市公司财报这类标准化信息展现得比较规整。但问题也随之而来——这类大型财经网站的反爬虫机制相当成熟。简单的requests库配合BeautifulSoup解析静态HTML在登录验证、动态加载、鼠标行为检测面前几乎寸步难行。这就是为什么我最终选择了Selenium作为核心工具。它不是一个简单的HTTP请求库而是一个浏览器自动化框架能模拟真实用户的所有操作打开浏览器、输入网址、点击登录、翻页、甚至等待动态图表加载完成。这对于需要处理JavaScript渲染、复杂交互验证的现代Web应用来说几乎是唯一可行的客户端自动化方案。这个项目本质上就是构建一条从同花顺网站到本地结构化数据再为后续文本生成任务做准备的自动化流水线。它不仅要能“爬”到数据还要爬得“稳”、爬得“像真人”并且要处理好从登录态维持Cookie到数据清洗、存储的完整链条。接下来我会详细拆解整个流程的设计思路、关键技术的实战要点以及那些只有真正动手做过才能知道的“坑”。2. 核心思路与方案选型为什么是Selenium策略化伪装在决定技术栈时我主要评估了几个维度目标网站的技术特点、数据获取的稳定性、开发维护成本以及是否易于模拟人类行为以绕过反爬。2.1 静态爬虫 vs. 动态渲染爬虫最初我尝试了经典的requests BeautifulSoup组合。对于同花顺的某些静态列表页它确实能工作。但一旦深入到具体的上市公司财报页面如https://basic.10jqka.com.cn/600519/balance.html问题就来了。页面上的核心财务数据表格很多并非直接写在初始HTML中而是通过JavaScript异步加载AJAX填充的。requests抓取到的只是包含JavaScript代码的空壳看不到实际数据。这时候就需要能执行JavaScript的引擎。方案有两个一是分析网站背后的AJAX接口直接用requests模拟接口调用。这通常是最优解效率高、资源消耗小。我确实花时间做了逆向工程发现同花顺的部分数据接口有加密参数且接口格式可能变动维护成本较高。二是使用能渲染页面的工具让JavaScript自然执行再获取最终生成的DOM树。这就是Selenium或Playwright这类浏览器自动化工具的用武之地。2.2 Selenium的不可替代性我选择Selenium而非更新的Playwright虽然它也很强大主要基于以下几点考量生态成熟与资料丰富Selenium历史悠久社区庞大。无论是解决Edge浏览器闪退、处理特定元素定位问题还是寻找绕过检测的技巧在搜索引擎上都能找到海量的讨论和解决方案。这对于快速排错至关重要。对“真实浏览器”的完美模拟Selenium驱动的是Chrome、Firefox、Edge等真实浏览器实例。这意味着网站检测到的浏览器指纹如WebDriver属性、插件列表、屏幕分辨率等与真人用户几乎无异这是对抗反爬虫的基础。虽然需要额外下载浏览器驱动如chromedriver但这带来了更高的伪装真实性。复杂的交互模拟能力我的爬虫需要登录。同花顺的登录可能涉及滑块验证码或点选验证码。Selenium可以精确控制鼠标移动轨迹并非简单的click()而是通过ActionChains模拟带加速度的真实移动、键盘输入这对于破解一些基于行为的验证至关重要。python selenium控制鼠标真实移动这个搜索词背后就是应对这类检测的实战需求。灵活的等待与元素定位财报页面数据加载可能因网络而快慢不一。Selenium提供了“显式等待”WebDriverWait机制可以智能地等待某个特定元素出现、可点击或包含特定文本后再继续操作避免了使用time.sleep造成的不必要延时或失败。2.3 反爬虫策略的整体设计仅仅打开浏览器还不够网站有无数种方法检测自动化脚本。我的反爬虫伪装策略是一个组合拳基础伪装通过Selenium的Options对象启动浏览器时即注入一系列参数如禁用自动化控制提示excludeSwitches: [‘enable-automation’]、设置常见的用户代理User-Agent等。Cookie持久化与更新这是维持登录状态的关键。我不会每次运行脚本都重新登录那样既低效又容易触发风控。方案是首次手动登录后使用pickle或json模块将driver.get_cookies()获取的Cookie保存到本地文件。后续脚本启动时先加载本地Cookie并添加到浏览器然后访问页面验证登录状态。如果Cookie失效跳转回登录页则触发预设的Cookie更新流程可能是模拟重新登录也可能是通过其他方式获取新Cookie。这就是标题中“支持cookie更新”的含义。行为随机化与人性化这是进阶对抗。包括随机化两次操作之间的间隔时间使用random.uniform模拟人类思考停顿滚动页面时模拟非匀速滚动在主要操作之外随机进行一些无意义的鼠标移动或点击控制每天的爬取时间段避免在深夜高频访问。IP代理池可选但重要对于大规模、高频爬取即使行为模拟得再像单个IP的请求频率过高也会被封。这就需要搭建或购买IP代理池在Selenium中动态切换代理。考虑到项目初期数据量我暂未引入但这是生产环境必须考虑的环节。3. 环境搭建与核心工具链详解工欲善其事必先利其器。一个稳定的爬虫开发环境能避免很多后期莫名其妙的错误。3.1 Python环境与依赖库我使用Python 3.8版本主要依赖以下库通过pip安装pip install selenium4.x pip install pandas pip install lxml pip install beautifulsoup4 pip install webdriver-managerselenium核心自动化库。pandas数据处理和分析的利器爬取到的表格数据用DataFrame处理、清洗、存储为CSV或Excel非常方便。lxml一个高性能的HTML/XML解析器BeautifulSoup可以指定用它作为解析后端速度比纯Python解析快很多。beautifulsoup4虽然Selenium可以获取完整DOM但用它来解析和提取特定元素有时比Selenium的原生方法更灵活简洁。webdriver-manager这是一个神器。它自动管理浏览器驱动如chromedriver的下载、匹配和路径设置再也不用手动下载驱动、担心版本不匹配导致的selenium控制edge会闪退之类的问题了。3.2 浏览器驱动与启动配置这里以Chrome浏览器为例。使用webdriver-manager可以极大简化流程from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.chrome.options import Options # 1. 创建配置选项 chrome_options Options() # 2. 关键的反爬虫伪装配置 # 移除“Chrome正受到自动测试软件控制”的提示 chrome_options.add_experimental_option(“excludeSwitches”, [“enable-automation”]) # 禁用Blink控制特征避免被检测为WebDriver chrome_options.add_argument(“–disable-blink-featuresAutomationControlled”) # 设置一个常见的用户代理 chrome_options.add_argument(‘user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36’) # 可选无头模式不显示浏览器界面适合服务器运行但可能更容易被识别 # chrome_options.add_argument(“–headless”) # 3. 使用webdriver-manager自动处理驱动 service Service(ChromeDriverManager().install()) # 4. 启动浏览器 driver webdriver.Chrome(serviceservice, optionschrome_options)注意无头模式–headless虽然节省资源但一些网站会检测无头模式特有的特征。在开发调试阶段建议先使用有头模式观察脚本运行是否顺畅反爬策略是否生效。稳定后再考虑是否启用无头模式。3.3 项目目录结构设计一个清晰的项目结构有助于长期维护financial_data_crawler/ ├── config.py # 配置文件存放URL、等待时间、文件路径等常量 ├── main.py # 主程序入口 ├── core/ │ ├── browser_engine.py # 浏览器启动、Cookie加载/保存的封装类 │ ├── login_manager.py # 登录逻辑封装处理验证码等 │ ├── data_extractor.py # 数据提取和解析的核心函数 │ └── anti_detect.py # 反爬虫行为模拟函数随机等待、鼠标移动等 ├── utils/ │ ├── file_io.py # 文件读写工具保存Cookie、数据到CSV等 │ └── logger.py # 日志记录模块 ├── data/ │ ├── cookies/ # 存放保存的Cookie文件 │ ├── raw_html/ # 可选存放爬取的原始HTML用于调试 │ └── processed/ # 存放处理后的结构化数据CSV └── requirements.txt # 项目依赖列表4. 实战同花顺财报数据抓取全流程解析接下来我们进入核心的实操环节。我将以抓取“贵州茅台600519”的资产负债表为例拆解每一步。4.1 导航与页面等待策略首先我们需要打开目标页面。直接driver.get(url)是不够的必须等待页面关键元素加载完成。from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 目标URL balance_sheet_url “https://basic.10jqka.com.cn/600519/balance.html” # 导航到页面 driver.get(balance_sheet_url) # 关键显式等待直到财务报表的表格容器加载出来 # 这里假设表格有一个id为‘table’或类名为‘m-table’需实际查看网页源码确定 try: # 等待最多20秒直到表格元素出现在DOM中 table_element WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.CLASS_NAME, “m-table”)) ) print(“资产负债表页面加载成功”) except TimeoutException: print(“页面加载超时可能网络问题或元素定位符已变更”) driver.save_screenshot(“timeout_error.png”) # 保存截图便于调试 # 可以尝试刷新或执行备用方案实操心得WebDriverWait配合EC条件是Selenium编程的黄金法则。永远不要使用固定的time.sleep(10)这会造成不必要的延迟或等待不足。通过等待特定元素代码更健壮。定位符如By.CLASS_NAME,By.ID,By.XPATH需要通过浏览器的开发者工具F12仔细查看元素属性来确定。同花顺的页面结构可能会改版所以定位符需要定期检查。4.2 Cookie的加载与登录状态维护为了避免每次运行都登录我们需要实现Cookie的持久化。import pickle import os import time def load_cookies(driver, cookie_file_path): “”“从文件加载Cookie并添加到当前浏览器会话”“” if os.path.exists(cookie_file_path): with open(cookie_file_path, ‘rb’) as f: cookies pickle.load(f) for cookie in cookies: # 添加前可能需要处理域名等属性 driver.add_cookie(cookie) print(f”已从 {cookie_file_path} 加载Cookie.”) # 添加Cookie后需要刷新页面使其生效 driver.refresh() time.sleep(2) # 这里可以添加一个验证检查页面是否仍在登录状态如查找用户昵称元素 return True else: print(“未找到Cookie文件需要手动登录。”) return False def save_cookies(driver, cookie_file_path): “”“将当前浏览器的Cookie保存到文件”“” cookies driver.get_cookies() with open(cookie_file_path, ‘wb’) as f: pickle.dump(cookies, f) print(f”Cookie已保存至 {cookie_file_path}”) # 在主流程中的使用 cookie_path “./data/cookies/同花顺.pkl” # 首次运行手动登录 driver.get(“https://www.10jqka.com.cn”) # 打开首页或登录页 input(“请在浏览器中手动完成登录然后按回车键继续…”) save_cookies(driver, cookie_path) # 后续运行 driver.get(“https://www.10jqka.com.cn”) if not load_cookies(driver, cookie_path): # 如果加载失败或失效调用登录函数 login(driver) # 需要自己实现自动登录函数可能涉及验证码识别 save_cookies(driver, cookie_path)注意事项Cookie有有效期。可能几天后就会失效。因此在load_cookies之后必须设计一个状态检查逻辑。例如加载Cookie并刷新页面后检查页面是否跳转到登录页或者能否找到一个只有登录后才显示的元素如“我的自选股”链接。如果失效则触发重新登录流程。这就是“支持cookie更新”的自动化部分。4.3 数据提取解析HTML表格页面加载完成且处于登录状态后就可以提取数据了。同花顺的财报通常以table形式呈现。import pandas as pd from bs4 import BeautifulSoup def extract_balance_sheet_data(driver): “”“从当前页面提取资产负债表数据”“” # 方法1直接使用Selenium获取表格元素适用于简单表格 # table driver.find_element(By.CLASS_NAME, “m-table”) # rows table.find_elements(By.TAG_NAME, “tr”) # data [] # for row in rows: # cols row.find_elements(By.TAG_NAME, “td”) # data.append([col.text for col in cols]) # 方法2使用BeautifulSoup解析页面源码更灵活推荐 page_source driver.page_source soup BeautifulSoup(page_source, ‘lxml’) # 使用lxml解析器加速 # 找到资产负债表主表这里需要根据实际网页结构调整选择器 # 通常财报页面有多个表格需要精准定位 main_table soup.find(‘table’, {‘class’: ‘m-table’}) if not main_table: # 备用选择器 main_table soup.find(‘div’, {‘id’: ‘table_wrapper’}).find(‘table’) # 将HTML表格转换为pandas DataFrame # pd.read_html直接接受字符串或文件对象可以解析多个表格 dfs pd.read_html(str(main_table), header0) # header0表示第一行作为列名 if dfs: balance_df dfs[0] # 假设第一个表就是我们需要的主表 print(“成功提取资产负债表数据”) print(balance_df.head()) return balance_df else: print(“未找到表格数据”) return None # 调用函数 df_balance extract_balance_sheet_data(driver) if df_balance is not None: # 保存到CSV output_path “./data/processed/600519_balance_sheet.csv” df_balance.to_csv(output_path, indexFalse, encoding‘utf_8_sig’) # 使用utf_8_sig避免中文乱码 print(f”数据已保存至 {output_path}”)核心技巧pd.read_html()是一个隐藏的爬虫利器它能自动识别HTML中的table标签并将其转化为DataFrame列表。对于结构规整的表格这比手动循环解析tr/td快得多代码也更简洁。但前提是你能用BeautifulSoup或Selenium精准定位到那个table元素。务必在开发者工具里仔细查看表格的嵌套结构。4.4 翻页与多期数据抓取一份年报包含多期数据如最近5年的年度数据或最近8个季度的季度数据。页面通常有下拉框或标签页进行切换。def switch_financial_period(driver, period‘年度’): “”“切换财报周期年度、季度”“” # 假设页面有一个下拉选择器id为‘periodSelect’ try: select_element WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.ID, “periodSelect”)) ) # 创建Select对象 from selenium.webdriver.support.ui import Select period_select Select(select_element) # 根据传入的文本选择 period_select.select_by_visible_text(period) print(f”已切换到 {period} 报告期。”) # 等待数据重新加载 time.sleep(3) # 这里可以用更智能的等待等待表格数据更新 # 例如等待表格中某个特定时期的数据出现 WebDriverWait(driver, 15).until( EC.text_to_be_present_in_element((By.XPATH, “//table//td[1]”), “2023-12-31”) ) except Exception as e: print(f”切换报告期失败{e}”) # 使用示例先抓年度再抓季度 df_annual extract_balance_sheet_data(driver) # 抓取年度 switch_financial_period(driver, ‘季度’) df_quarterly extract_balance_sheet_data(driver) # 抓取季度对于分页列表如所有A股公司列表则需要模拟点击“下一页”按钮并循环直到最后一页。逻辑类似定位下一页按钮点击等待新页面加载提取数据循环。5. 高级反爬虫策略与行为模拟细节基础伪装只能应对简单的检测。更高级的反爬虫系统会分析用户行为模式。5.1 模拟人类鼠标移动与点击直接使用element.click()可能被检测。我们可以使用ActionChains来模拟更真实的操作。from selenium.webdriver.common.action_chains import ActionChains import random def human_like_click(driver, element): “”“模拟人类点击先移动鼠标到元素上稍作停顿再点击”“” actions ActionChains(driver) # 将鼠标移动到元素中心 actions.move_to_element(element) # 加入一个随机的小停顿50-200毫秒模拟反应时间 actions.pause(random.uniform(0.05, 0.2)) # 执行点击 actions.click() # 执行所有动作 actions.perform() def random_mouse_movement(driver, duration2): “”“在页面上随机移动鼠标模拟浏览行为”“” width driver.execute_script(“return window.innerWidth”) height driver.execute_script(“return window.innerHeight”) actions ActionChains(driver) num_moves random.randint(5, 10) for _ in range(num_moves): # 随机生成页面内的一个坐标 x random.randint(0, width) y random.randint(0, height) # 移动鼠标到该坐标使用平滑移动 actions.move_by_offset(x, y) actions.pause(random.uniform(0.1, 0.5)) actions.perform()在关键操作如点击翻页、切换标签前后随机调用random_mouse_movement(driver)可以增加行为的“噪音”使其更像真人。5.2 随机化等待时间与操作节奏固定的等待间隔是自动化程序的明显特征。import random import time def random_delay(min_sec1.0, max_sec3.0): “”“在最小和最大秒数之间随机延迟”“” delay random.uniform(min_sec, max_sec) time.sleep(delay) # 在操作之间使用 driver.get(url) random_delay(2, 5) # 等待页面加载时间在2-5秒之间随机 element driver.find_element(...) human_like_click(driver, element) random_delay(1, 2) # 点击后随机等待1-2秒5.3 应对常见的反爬检测点WebDriver属性检测一些网站会检测navigator.webdriver属性。我们可以在启动浏览器时通过execute_cdp_cmd命令来覆盖它。chrome_options.add_argument(“–disable-blink-featuresAutomationControlled”) driver.execute_cdp_cmd(‘Page.addScriptToEvaluateOnNewDocument’, { ‘source’: ‘’ Object.defineProperty(navigator, ‘webdriver’, { get: () undefined }); ‘’ })窗口特征检测无头模式、非常规的窗口大小和屏幕分辨率可能被检测。可以设置常见的窗口大小。chrome_options.add_argument(“–window-size1920,1080”)指纹检测这是最复杂的部分涉及Canvas、WebGL、字体等多种指纹。对于金融数据爬虫这种中等安全级别的场景上述基础和行为伪装通常足够。如果遇到更严格的检测可能需要使用更高级的浏览器自动化工具如undetected-chromedriver或指纹欺骗插件。6. 数据预处理与data2text任务衔接爬取到的原始数据还不能直接喂给文本生成模型需要经过清洗和格式化这就是“预处理”环节。6.1 数据清洗与规整从网页抓取的表格数据通常存在一些问题多余字符货币单位如“亿元”、百分比符号“%”、千分位分隔符“,”。空值与占位符有些单元格可能是“–”、“N/A”或空字符串。表头不规范可能有多级表头或合并单元格被pd.read_html解析后需要调整。数据格式数字是字符串类型需要转换为数值型int或float。def clean_financial_data(df): “”“清洗财务报表DataFrame”“” df_clean df.copy() # 1. 处理表头有时第一行是中文列名第二行是英文或单位需要合并或选择 # 假设df.columns是一个MultiIndex我们取第一层 if isinstance(df.columns, pd.MultiIndex): df_clean.columns df.columns.get_level_values(0) # 取第一级作为列名 # 2. 移除列名和单元格中的空格、换行符 df_clean.columns df_clean.columns.str.strip() df_clean df_clean.applymap(lambda x: x.strip() if isinstance(x, str) else x) # 3. 转换数值列移除“亿元”、“%”、“,”等字符并转为数值 for col in df_clean.columns: # 跳过“报告期”这样的非数值列根据实际情况判断 if col ‘报告期’ or df_clean[col].dtype ‘object’: # 尝试转换错误则忽略保持原字符串 df_clean[col] pd.to_numeric(df_clean[col].astype(str).str.replace(‘[亿元,%,\s]’, ‘’, regexTrue), errors‘ignore’) # 4. 处理空值将特定的占位符替换为NaN然后可以选择填充或删除 df_clean.replace([‘–’, ‘N/A’, ‘’, ‘ ‘], pd.NA, inplaceTrue) # 例如用前一期数据填充对于时间序列数据常用 # df_clean.fillna(method‘ffill’, inplaceTrue) # 5. 重置索引 df_clean.reset_index(dropTrue, inplaceTrue) return df_clean cleaned_df clean_financial_data(df_balance)6.2 数据结构化存储清洗后的数据需要以适合后续模型处理的格式存储。对于data2text任务通常需要将多期、多报表的数据关联起来。# 假设我们抓取了资产负债表、利润表、现金流量表 # 它们都有一个共同的键比如“报告期” balance_df clean_financial_data(balance_df) # 资产负债表 income_df clean_financial_data(income_df) # 利润表 cashflow_df clean_financial_data(cashflow_df) # 现金流量表 # 以“报告期”为键合并三张表形成一个公司的完整财务快照 merged_df pd.merge(balance_df, income_df, on‘报告期’, how‘outer’, suffixes(‘_balance’, ‘_income’)) merged_df pd.merge(merged_df, cashflow_df, on‘报告期’, how‘outer’, suffixes(‘’, ‘_cashflow’)) # 保存为CSV merged_df.to_csv(‘./data/processed/600519_merged_financials.csv’, indexFalse, encoding‘utf_8_sig’) # 也可以保存为JSON Lines格式每条记录一行便于NLP任务读取 merged_df.to_json(‘./data/processed/600519_financials.jsonl’, orient‘records’, linesTrue, force_asciiFalse)6.3 为data2text任务准备输入最终我们需要将结构化的数字转换成模型能理解的“事实”列表或结构化文本。例如对于2023年年报我们可以生成这样一个JSON对象作为data2text模型的输入{ “company”: “贵州茅台”, “code”: “600519”, “report_date”: “2023-12-31”, “metrics”: { “total_assets”: 254500000000, // 总资产 “total_liabilities”: 52500000000, // 总负债 “operating_revenue”: 127600000000, // 营业收入 “net_profit”: 62700000000 // 净利润 } }或者生成一段半结构化的文本描述公司贵州茅台(600519)报告期2023-12-31。关键财务指标总资产2545亿元总负债525亿元营业收入1276亿元净利润627亿元。预处理脚本的任务就是自动从merged_df中提取每个报告期的关键指标并组装成上述格式。这需要你根据具体的文本生成任务需求来定义需要提取哪些字段。7. 常见问题排查与实战避坑指南在实际开发中你会遇到各种各样的问题。下面是我踩过的一些坑和解决方案。7.1 元素定位失败这是最常见的问题。可能原因和解决方案问题现象可能原因解决方案NoSuchElementException1. 页面未加载完成。2. 元素在iframe内。3. 元素定位符XPath/CSS Selector错误或已变更。4. 元素被动态生成DOM结构已变。1. 使用WebDriverWait显式等待元素出现。2. 使用driver.switch_to.frame()切换到对应的iframe。3. 使用浏览器开发者工具重新检查元素使用更稳定的属性如>ElementNotInteractableException元素被遮挡、禁用或不可见。1. 使用ActionChains滚动到元素位置actions.move_to_element(element).perform()。2. 使用JavaScript直接点击driver.execute_script(“arguments[0].click();”, element)。3. 检查元素是否被其他层如弹窗覆盖。StaleElementReferenceException之前找到的元素因为页面刷新或AJAX更新已经不在当前的DOM树中。重新查找元素。避免在页面可能刷新后还持有旧元素的引用。将元素查找放在操作前即时执行。7.2 浏览器闪退或驱动问题selenium控制edge会闪退这通常是浏览器驱动与浏览器本体版本不匹配造成的。最佳解决方案就是使用webdriver-manager它会自动匹配并下载正确的驱动版本。from selenium import webdriver from selenium.webdriver.edge.service import Service from webdriver_manager.microsoft import EdgeChromiumDriverManager service Service(EdgeChromiumDriverManager().install()) driver webdriver.Edge(serviceservice)浏览器意外关闭确保代码逻辑中在所有可能的退出路径正常结束、异常捕获都调用了driver.quit()而不是driver.close()。quit()会关闭整个浏览器进程和驱动释放资源。7.3 验证码与登录难题同花顺在多次失败尝试或检测到可疑行为后可能会弹出验证码。图形验证码可以尝试接入第三方打码平台如超级鹰、图鉴的API进行识别。但这会增加复杂性和成本。行为验证码如滑块这是难点。需要分析滑块轨迹算法。一个折中方案是当检测到验证码出现时脚本暂停发出提醒如播放声音、发送通知等待人工手动完成验证然后脚本再继续。这虽然不够全自动但对于数据量不大、频率不高的爬取任务是可行的。保持会话这就是为什么Cookie持久化如此重要。一次登录尽量维持长时间的有效期避免频繁触发登录验证。7.4 数据提取不完整或错位表格结构复杂同花顺的表格可能有合并行、合并列pd.read_html可能解析出错。此时需要回退到使用BeautifulSoup手动解析tr和td仔细处理rowspan和colspan属性。数据是图片极少数关键数据可能以图片形式呈现为了防爬。这就需要用到OCR技术如pytesseract库配合PIL截图识别但识别率和维护成本会急剧上升。通常重要的财务数据不会全部做成图片。7.5 网络环境与稳定性遇见网络环境不好怎么办在代码中增加重试机制。使用retrying库或自己写try-except循环当发生超时或元素定位失败时重试几次。from retrying import retry retry(stop_max_attempt_number3, wait_fixed2000) def safe_find_element(driver, by, value): return WebDriverWait(driver, 15).until(EC.presence_of_element_located((by, value)))设置合理的超时时间WebDriverWait的默认超时时间不要设得太短对于财经网站15-30秒是合理的。使用代理IP如果IP被封锁就需要更换IP。可以在Selenium启动浏览器时设置代理。chrome_options.add_argument(‘–proxy-serverhttp://your-proxy-ip:port’)这个项目从零搭建一个面向复杂动态网站的爬虫核心在于理解网站的反爬逻辑并用Selenium模拟真人行为去应对。它不仅仅是一个数据抓取工具更是一个包含状态管理Cookie、错误处理、数据清洗的完整数据管道。对于data2text任务而言稳定、高质量的数据源是成功的基石而这份自动化采集方案正是打下这块基石的可靠工具。本文还有配套的精品资源点击获取