简介一个面向电子元件采购与硬件工程师的轻量级爬虫工具用于从 Digi-Key 网站自动抓取产品价格、库存与属性信息解决大批量元件数据人工比对效率低的问题。压缩包仅含 2 个文件1 个 Python 脚本与 1 个 HTML 样例文件整体大小约 2KB脚本封装了 HTTP 请求、HTML 解析与关键字段提取流程HTML 文件则作为目标页面结构样例方便对照学习解析逻辑。资源目前已有 158 人学习适合具备基础 Python 语法、希望快速上手 Web Scraping 的初学者。通过阅读代码可掌握 requestsBeautifulSoup 的典型组合用法包括使用 CSS 选择器定位产品名、价格、库存等节点以及应对页面结构变化时的异常处理思路同时也可借鉴其控制请求频率、遵守 robots.txt 的规范为后续扩展其他电子元器件网站的数据采集提供可直接复用的脚本框架与排错参考。 DigiKey 的产品数据库确实是个宝藏尤其在做电子选型和 BOM 比对的时候一个个手动去翻页面能把人逼疯。我最初写 digikey_webscraper 这个工具就是因为在做电源方案选型时需要在几十个候选料号之间横向对比价格、库存和封装参数手动操作太消耗时间而且容易出错。这个工具能把 DigiKey 上结构化的元器件信息批量抓下来整理成干净的表格直接喂给后续的比对和决策流程。如果你也在跟电子元器件数据打交道不管是做采购比价、库存监控还是做选型分析和成本估算这篇文章里的思路和代码都能直接拿来用。1. 项目整体设计思路写爬虫之前先得想明白要抓什么数据和怎么抓。这个项目表面上是个爬虫实际上是一个数据提取与清洗的管道工程分三个层面来拆解。1.1 核心需求解析先说数据层面。DigiKey 的搜索结果页和产品详情页信息量很大但不是所有字段都有用。我在实际使用中最关注四类信息基础标识制造商零件编号、DigiKey 零件编号、制造商名称价格数据不同采购数量档位的单价比如 1、10、100、1000 的阶梯报价库存状态实时库存数量以及是否在库、是否可订购规格参数封装类型、工作温度范围、安装方式、关键电气参数如果你是做采购的价格和库存就是核心如果你是做研发选型的规格参数比价格更关键。所以工具在设计上把字段做成了可配置的抓哪些字段由需求决定而不是一股脑全抓。1.2 技术选型与方案对比技术选型上核心是 Python 加 Requests 加 BeautifulSoup 的组合现在也可以考虑换到 httpx 加 parsel但思路是通用的。为什么不用 Selenium 这类浏览器自动化框架因为 DigiKey 的服务端渲染页面占比很高大部分数据通过普通 HTTP 请求就能拿全不需要额外背上一个浏览器的开销。Selenium 的优势是处理 JavaScript 动态渲染但在这种场景下会带来两个问题一是运行速度明显变慢二是更容易触发反爬机制。个人实际体验使用 Requests 加 BeautifulSoup单页面抓取时间一般在 0.5 到 1.5 秒之间。换成 Selenium 的话这个数字会膨胀到 5 到 10 秒抓几百个料号时就非常痛苦了。你要是需要处理大量动态加载的单页应用再考虑 Selenium 也不迟。1.3 反爬策略与合规思考DigiKey 对爬虫的态度不算特别苛刻但也不是完全开放。我实际测试下来主要限制点包括访问频率、User-Agent 识别、以及部分接口的 Cookie 校验。合规性上要特别注意DigiKey 的服务条款里对数据抓取有明确限制个人学习和小规模使用问题不大但如果要用于商业用途建议先联系官方获取授权或使用其正式的 API 服务。这也是我在项目 README 里重点说明的内容做一个开源工具得先把这条线画清楚。技术层面我做了三个基本动作设置合理的请求间隔默认 1 到 2 秒之间用随机数打散请求节奏使用真实的 User-Agent伪装成主流浏览器的访问行为启用会话维持机制用 requests.Session 保存 Cookie模拟连续浏览的产品路径2. 核心功能模块拆解爬虫的核心其实不是“爬”而是从混乱的 HTML 中提取出结构化的数据。这个项目里我按照职责拆成了几个独立模块每个模块只做一件事。2.1 搜索页列表抓取搜索页是入口。以 DigiKey 的搜索结果页为例URL 结构是https://www.digikey.com/products/en/加上相应的分类参数和关键词参数。搜索结果页的 HTML 结构里每个产品卡片包含料号、描述、库存和价格入口等信息。这里的关键点是搜索结果页的分页逻辑需要处理 URL 参数通常情况下page参数控制页码。我第一次做的时候在这里踩过坑DigiKey 的搜索 URL 里有些参数是有状态的比如keywords和pkeyword如果不把这两个参数同时带上翻页之后关键词会丢失搜索结果就串了。def build_search_url(keyword, page1): base_url https://www.digikey.com/products/en params { keywords: keyword, pkeyword: keyword, page: str(page) } return f{base_url}?{urlencode(params)}2.2 详情页数据提取搜索列表页能拿到基本信息但完整的数据还是要进详情页。产品详情页的 URL 格式一般是https://www.digikey.com/en/products/detail/manufacturer/partnumber/digikey_partnumber。详情页的数据提取我用了 BeautifulSoup 来解析 HTML。产品规格参数在页面里通常是以表格形式呈现的table标签下的每一行对应一个参数名和一个参数值提取方法很直接定位表格行取两个td标签的文本内容。def parse_spec_table(soup): specs {} for row in soup.select(table tr): cells row.find_all(td) if len(cells) 2: key cells[0].get_text(stripTrue) value cells[1].get_text(stripTrue) specs[key] value return specs这里遇到过一个有意思的问题DigiKey 的详情页里规格表是折叠的默认只展示前几行后面的参数要点“展开”才能看到。不过通过普通 HTTP 请求获取到的 HTML 里这些数据其实都在页面上只是 CSS 控制显示和隐藏不影响抽取。这说明一个原则爬虫拿到的数据就应该是服务端返回的完整数据浏览器端渲染的交互效果不影响数据本身前提是这些数据不是通过 AJAX 接口动态加载的。DigiKey 的规格参数是服务端渲染的这一点对爬虫非常友好。2.3 价格与库存解析价格数据的提取要比规格参数复杂一些因为 DigiKey 的报价是分档位的从 1 颗到 5000 颗有不同单价。页面上的价格行是一个表格每行包含数量范围和对应价格需要把区间解析成最小值和最大值。def parse_price_breaks(raw_text): price_breaks [] for line in raw_text.strip().split(\n): match re.match(r([\d,])\s*-\s*([\d,])\s*:\s*([\0-9.]), line) if match: price_breaks.append({ min_qty: int(match.group(1).replace(,, )), max_qty: int(match.group(2).replace(,, )), price: float(match.group(3)) }) return price_breaks库存数字的解析也容易踩坑。DigiKey 的库存数据在页面上有两种形态具体数字和模糊描述。多数情况是有具体数量的比如1,243但部分特殊封装或停产料号会显示0或Factory Stock。这需要在解析时做字符串匹配和容错处理。2.4 数据清洗与导出从页面解析出来的数据是字符串不能直接拿来计算和比较。清洗环节做了几件事把带千分位逗号的数字串转成纯数字把百分比字符串转成浮点数把 DNF 这类特殊状态标记统一标准化最后统一输出为 CSV 或者 JSON 文件。我选择 CSV 作为默认输出格式因为 Excel 和数据处理库都能直接读对不熟悉编程的采购同事也友好。JSON 则适合程序间交换数据用。数据清洗的逻辑虽然简单但缺了这一步后续做成本测算和价格比对时会很痛苦。3. 实操过程与核心实现理论讲清楚之后直接看代码。这一节我会展示完整的核心实现流程从请求发送、HTML 解析到数据落地的完整闭环。3.1 环境准备与依赖安装项目依赖不多核心就三个库安装命令如下pip install requests beautifulsoup4 pandasrequests负责 HTTP 请求和会话管理beautifulsoup4负责解析 HTML 并提取结构化数据pandas负责数据清洗和表格导出这三个库都是 Python 生态里的标准配置稳定且社区活跃遇到问题搜索解决方案也很容易。3.2 完整工作流程代码这里给出一个简化但可运行的版本主流程分成四步构造请求、解析详情页、提取数据、写入文件。import requests import pandas as pd from bs4 import BeautifulSoup from urllib.parse import urlencode import time import random import re class DigiKeyScraper: def __init__(self, delay_range(1.0, 2.5)): self.session requests.Session() self.session.headers.update({ User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ), Accept-Language: en-US,en;q0.9, }) self.delay_range delay_range def polite_wait(self): time.sleep(random.uniform(*self.delay_range)) def fetch(self, url, paramsNone): self.polite_wait() resp self.session.get(url, paramsparams, timeout15) resp.raise_for_status() return resp.text def parse_product_page(self, html): soup BeautifulSoup(html, html.parser) result {} # 制造商型号 mfr_elem soup.select_one(#product-details h1) if mfr_elem: result[manufacturer_part_number] mfr_elem.get_text(stripTrue) # DigiKey 零件编号 dk_elem soup.select_one(#product-details .product-details__digi-key-part-number) if dk_elem: result[digi_key_part_number] dk_elem.get_text(stripTrue) # 制造商 mfr_name_elem soup.select_one(#product-details .manufacturer a) if mfr_name_elem: result[manufacturer] mfr_name_elem.get_text(stripTrue) # 规格参数表 spec_table soup.select_one(#product-details .product-details__specifications table) if spec_table: specs {} for row in spec_table.select(tr): cells row.find_all(td) if len(cells) 2: key cells[0].get_text(stripTrue) value cells[1].get_text(stripTrue) specs[key] value result[specifications] specs # 价格档位 price_rows soup.select(#product-details .product-details__pricing tr) price_breaks [] for row in price_rows: cells row.find_all(td) if len(cells) 2: qty_text cells[0].get_text(stripTrue) price_text cells[1].get_text(stripTrue) match re.match(r([\d,])\s*-\s*([\d,]*), qty_text) if match: min_qty int(match.group(1).replace(,, )) max_text match.group(2).replace(,, ) max_qty int(max_text) if max_text else None price float(price_text.replace($, ).replace(,, )) price_breaks.append({ min_qty: min_qty, max_qty: max_qty, price: price }) result[price_breaks] price_breaks # 库存数量 stock_elem soup.select_one(#product-details .product-details__inventory) if stock_elem: stock_text stock_elem.get_text(stripTrue) stock_match re.search(r([\d,]), stock_text) result[stock] int(stock_match.group(1).replace(,, )) if stock_match else 0 return result def scrape(self, part_numbers): rows [] for pn in part_numbers: url fhttps://www.digikey.com/en/products/detail/{pn} try: html self.fetch(url) data self.parse_product_page(html) data[input_part_number] pn rows.append(data) print(f[OK] {pn} - {data.get(manufacturer_part_number, N/A)}) except Exception as e: print(f[FAIL] {pn} - {str(e)}) return rows if __name__ __main__: scraper DigiKeyScraper() test_parts [297-1271-1-ND, 497-2745-1-ND] results scraper.scrape(test_parts) df pd.DataFrame(results) df.to_csv(digikey_data.csv, indexFalse, encodingutf-8-sig) print(Done. Saved to digikey_data.csv)这段代码的逻辑不复杂核心就是把 DigiKey 详情页上分散在各处的数据拼装成一行记录。代码里有几个可以复用的设计点用requests.Session保持连接复用减少了重复的 TCP 握手开销请求间隔随机化在 1 到 2.5 秒之间浮动避免形成固定请求节奏异常隔离单个料号抓取失败不影响其他料号的执行3.3 实际运行效果与数据验证用上面的测试代码跑两个料号运行日志大致是这样[OK] 297-1271-1-ND - TPS5430DDAR [OK] 497-2745-1-ND - STM32F103C8T6 Done. Saved to digikey_data.csv生成的 CSV 里每一行是一个料号的所有信息规格参数以 JSON 字符串的形式存在specifications列里。这样做的优点是结构灵活缺点是直接用 Excel 过滤不太方便。如果想让规格参数变成独立的列可以在清洗阶段把 DataFrame 做一次展平操作。我建议把抓取和清洗分成两个脚本抓取脚本只负责拿原始数据清洗脚本负责转换格式。这样分工清晰改需求的时候不会牵一发动全身。3.4 批量抓取的任务队列设计真实场景下一次要抓的料号动辄几百个直接写线性循环会很慢而且容易出问题。我在实际中引入了一个简单的任务队列机制先读本地文件里的料号清单逐个抓取失败的重试一次记录完成状态这样即使中途断掉也能从断点继续。任务队列的设计不需要很复杂一个 list 加一个已完成的 set 就够了。我在项目里加了一个resume参数传入上次已经完成的任务文件会自动跳过已抓过的料号。效果拔群尤其是抓大几千个料号时网速波动或者被临时封禁导致的中断不会被浪费。4. 常见问题与排查技巧实录写爬虫的过程中一定会遇到各种诡异的问题这里整理几个最典型的都是我在实际踩过的坑。4.1 请求被拒绝与限流处理DigiKey 对异常请求的响应特征很明显直接返回 403 错误或者在页面上出现验证码页面。我在实际中遇到 403 的频率和请求速度强相关请求间隔低于 0.5 秒时几乎瞬间触发。我的处理方案是降低请求频率并增加指数退避重试机制。每次遇到 403将等待时间翻倍从 1 秒到 10 秒之间逐级递增最多重试三次。实测下来非常有效。另外还有一个技巧是切换 User-Agent 到比较冷门的浏览器版本有时候能绕过基于 UA 的简单过滤。4.2 页面结构调整导致解析失败这是爬虫最常见的“上线即崩”问题。DigiKey 改版之后CSS 选择器对应的类名变了整个 parse 函数就失效了。解决方案有几个层面写代码时优先选择稳定的选择器标签名和 ID 比 CSS 类名更稳定定期用 curl 检查页面结构发现问题及时调整不要过度依赖一个选择器可以在解析函数里做多重 fallback我在代码里对关键字段做了多级定位比如先查 ID 再查类名大大提升了抗结构性变化的容错能力。4.3 编码问题与字符串坑DigiKey 的页面是 UTF-8 编码但如果你拿到的是部分接口返回的数据可能会遇到 Latin-1 或 ASCII 编码不兼容的情况。遇到特殊字符如注册商标符号或度数符号直接用get_text(stripTrue)一般没问题但在导出 CSV 时要指定encodingutf-8-sig这样 Excel 打开才不会乱码。还有一个细节价格字段里的美元符号和小数点不同语言环境下的格式有差异比如某些地区用逗号做小数点。解析时提前做正则兼容不要等数据落地之后再返工。4.4 常见问题速查表问题现象可能原因解决方案403 Forbidden 响应请求频率过高增加请求间隔启用指数退避返回页面无产品数据URL 参数缺失检查 keywords 和 pkeyword 是否都带了规格参数为空选择器失效改用多级 fallback 选择器库存显示为 0页面字段确实是 0检查是 Factory Stock 还是无库存CSV 打开乱码编码格式不对使用 utf-8-sig 编码导出时间超过预期 10 倍每页都等待超时减少超时时间启用失败快速跳过5. 使用心得与扩展建议这个工具从最初的一个简单脚本慢慢迭代成了现在这个可以日常使用的爬虫中间改过很多版有一些经验值得记录。5.1 保持简单别过度设计第一版我试图做一个分布式爬虫还加上了 Redis 队列和代理池后来发现自己根本用不到这些。对于中小规模的元器件数据抓取单机加多线程就足够了。过度设计不仅增加维护成本还会让代码变得难以理解和调试。现在的版本就是一个类加几个函数任何能跑 Python 的环境都能直接用。5.2 数据的二次利用思路爬下来的数据不应该只是存在 CSV 里吃灰。我目前在做两个方向的扩展一是价格预警定期抓一次目标料号的价格和库存发现波动就推送通知这样能及时感知市场变化。二是选型辅助在本地把规格参数做成一个小的检索库和厂商数据手册对比快速筛选出符合设计要求的元件。这些应用方向才是爬虫数据的真正价值。5.3 爬虫之外的思考最后想聊一点关于合规和技术的认识。写爬虫的过程本质上是在和网页的结构化设计“对话”理解对方的数据组织方式再设计合适的提取逻辑。这个能力不会过时因为只要 Web 存在就会有“把网页变成结构数据”的需求。但务必要把合规底线守住尊重目标网站的服务条款和 robots 协议合理设置请求频率不要因为自己的需求去影响别人的正常服务。小规模工具保证自用没问题大规模商用还是要走正规渠道。DigiKey 本身有官方 API 和数据服务如果你对数据完整性和时效性要求很高去申请官方接口其实是更优解。本文还有配套的精品资源点击获取
Python爬虫实战：DigiKey电子元器件数据抓取与清洗全解析
简介一个面向电子元件采购与硬件工程师的轻量级爬虫工具用于从 Digi-Key 网站自动抓取产品价格、库存与属性信息解决大批量元件数据人工比对效率低的问题。压缩包仅含 2 个文件1 个 Python 脚本与 1 个 HTML 样例文件整体大小约 2KB脚本封装了 HTTP 请求、HTML 解析与关键字段提取流程HTML 文件则作为目标页面结构样例方便对照学习解析逻辑。资源目前已有 158 人学习适合具备基础 Python 语法、希望快速上手 Web Scraping 的初学者。通过阅读代码可掌握 requestsBeautifulSoup 的典型组合用法包括使用 CSS 选择器定位产品名、价格、库存等节点以及应对页面结构变化时的异常处理思路同时也可借鉴其控制请求频率、遵守 robots.txt 的规范为后续扩展其他电子元器件网站的数据采集提供可直接复用的脚本框架与排错参考。 DigiKey 的产品数据库确实是个宝藏尤其在做电子选型和 BOM 比对的时候一个个手动去翻页面能把人逼疯。我最初写 digikey_webscraper 这个工具就是因为在做电源方案选型时需要在几十个候选料号之间横向对比价格、库存和封装参数手动操作太消耗时间而且容易出错。这个工具能把 DigiKey 上结构化的元器件信息批量抓下来整理成干净的表格直接喂给后续的比对和决策流程。如果你也在跟电子元器件数据打交道不管是做采购比价、库存监控还是做选型分析和成本估算这篇文章里的思路和代码都能直接拿来用。1. 项目整体设计思路写爬虫之前先得想明白要抓什么数据和怎么抓。这个项目表面上是个爬虫实际上是一个数据提取与清洗的管道工程分三个层面来拆解。1.1 核心需求解析先说数据层面。DigiKey 的搜索结果页和产品详情页信息量很大但不是所有字段都有用。我在实际使用中最关注四类信息基础标识制造商零件编号、DigiKey 零件编号、制造商名称价格数据不同采购数量档位的单价比如 1、10、100、1000 的阶梯报价库存状态实时库存数量以及是否在库、是否可订购规格参数封装类型、工作温度范围、安装方式、关键电气参数如果你是做采购的价格和库存就是核心如果你是做研发选型的规格参数比价格更关键。所以工具在设计上把字段做成了可配置的抓哪些字段由需求决定而不是一股脑全抓。1.2 技术选型与方案对比技术选型上核心是 Python 加 Requests 加 BeautifulSoup 的组合现在也可以考虑换到 httpx 加 parsel但思路是通用的。为什么不用 Selenium 这类浏览器自动化框架因为 DigiKey 的服务端渲染页面占比很高大部分数据通过普通 HTTP 请求就能拿全不需要额外背上一个浏览器的开销。Selenium 的优势是处理 JavaScript 动态渲染但在这种场景下会带来两个问题一是运行速度明显变慢二是更容易触发反爬机制。个人实际体验使用 Requests 加 BeautifulSoup单页面抓取时间一般在 0.5 到 1.5 秒之间。换成 Selenium 的话这个数字会膨胀到 5 到 10 秒抓几百个料号时就非常痛苦了。你要是需要处理大量动态加载的单页应用再考虑 Selenium 也不迟。1.3 反爬策略与合规思考DigiKey 对爬虫的态度不算特别苛刻但也不是完全开放。我实际测试下来主要限制点包括访问频率、User-Agent 识别、以及部分接口的 Cookie 校验。合规性上要特别注意DigiKey 的服务条款里对数据抓取有明确限制个人学习和小规模使用问题不大但如果要用于商业用途建议先联系官方获取授权或使用其正式的 API 服务。这也是我在项目 README 里重点说明的内容做一个开源工具得先把这条线画清楚。技术层面我做了三个基本动作设置合理的请求间隔默认 1 到 2 秒之间用随机数打散请求节奏使用真实的 User-Agent伪装成主流浏览器的访问行为启用会话维持机制用 requests.Session 保存 Cookie模拟连续浏览的产品路径2. 核心功能模块拆解爬虫的核心其实不是“爬”而是从混乱的 HTML 中提取出结构化的数据。这个项目里我按照职责拆成了几个独立模块每个模块只做一件事。2.1 搜索页列表抓取搜索页是入口。以 DigiKey 的搜索结果页为例URL 结构是https://www.digikey.com/products/en/加上相应的分类参数和关键词参数。搜索结果页的 HTML 结构里每个产品卡片包含料号、描述、库存和价格入口等信息。这里的关键点是搜索结果页的分页逻辑需要处理 URL 参数通常情况下page参数控制页码。我第一次做的时候在这里踩过坑DigiKey 的搜索 URL 里有些参数是有状态的比如keywords和pkeyword如果不把这两个参数同时带上翻页之后关键词会丢失搜索结果就串了。def build_search_url(keyword, page1): base_url https://www.digikey.com/products/en params { keywords: keyword, pkeyword: keyword, page: str(page) } return f{base_url}?{urlencode(params)}2.2 详情页数据提取搜索列表页能拿到基本信息但完整的数据还是要进详情页。产品详情页的 URL 格式一般是https://www.digikey.com/en/products/detail/manufacturer/partnumber/digikey_partnumber。详情页的数据提取我用了 BeautifulSoup 来解析 HTML。产品规格参数在页面里通常是以表格形式呈现的table标签下的每一行对应一个参数名和一个参数值提取方法很直接定位表格行取两个td标签的文本内容。def parse_spec_table(soup): specs {} for row in soup.select(table tr): cells row.find_all(td) if len(cells) 2: key cells[0].get_text(stripTrue) value cells[1].get_text(stripTrue) specs[key] value return specs这里遇到过一个有意思的问题DigiKey 的详情页里规格表是折叠的默认只展示前几行后面的参数要点“展开”才能看到。不过通过普通 HTTP 请求获取到的 HTML 里这些数据其实都在页面上只是 CSS 控制显示和隐藏不影响抽取。这说明一个原则爬虫拿到的数据就应该是服务端返回的完整数据浏览器端渲染的交互效果不影响数据本身前提是这些数据不是通过 AJAX 接口动态加载的。DigiKey 的规格参数是服务端渲染的这一点对爬虫非常友好。2.3 价格与库存解析价格数据的提取要比规格参数复杂一些因为 DigiKey 的报价是分档位的从 1 颗到 5000 颗有不同单价。页面上的价格行是一个表格每行包含数量范围和对应价格需要把区间解析成最小值和最大值。def parse_price_breaks(raw_text): price_breaks [] for line in raw_text.strip().split(\n): match re.match(r([\d,])\s*-\s*([\d,])\s*:\s*([\0-9.]), line) if match: price_breaks.append({ min_qty: int(match.group(1).replace(,, )), max_qty: int(match.group(2).replace(,, )), price: float(match.group(3)) }) return price_breaks库存数字的解析也容易踩坑。DigiKey 的库存数据在页面上有两种形态具体数字和模糊描述。多数情况是有具体数量的比如1,243但部分特殊封装或停产料号会显示0或Factory Stock。这需要在解析时做字符串匹配和容错处理。2.4 数据清洗与导出从页面解析出来的数据是字符串不能直接拿来计算和比较。清洗环节做了几件事把带千分位逗号的数字串转成纯数字把百分比字符串转成浮点数把 DNF 这类特殊状态标记统一标准化最后统一输出为 CSV 或者 JSON 文件。我选择 CSV 作为默认输出格式因为 Excel 和数据处理库都能直接读对不熟悉编程的采购同事也友好。JSON 则适合程序间交换数据用。数据清洗的逻辑虽然简单但缺了这一步后续做成本测算和价格比对时会很痛苦。3. 实操过程与核心实现理论讲清楚之后直接看代码。这一节我会展示完整的核心实现流程从请求发送、HTML 解析到数据落地的完整闭环。3.1 环境准备与依赖安装项目依赖不多核心就三个库安装命令如下pip install requests beautifulsoup4 pandasrequests负责 HTTP 请求和会话管理beautifulsoup4负责解析 HTML 并提取结构化数据pandas负责数据清洗和表格导出这三个库都是 Python 生态里的标准配置稳定且社区活跃遇到问题搜索解决方案也很容易。3.2 完整工作流程代码这里给出一个简化但可运行的版本主流程分成四步构造请求、解析详情页、提取数据、写入文件。import requests import pandas as pd from bs4 import BeautifulSoup from urllib.parse import urlencode import time import random import re class DigiKeyScraper: def __init__(self, delay_range(1.0, 2.5)): self.session requests.Session() self.session.headers.update({ User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ), Accept-Language: en-US,en;q0.9, }) self.delay_range delay_range def polite_wait(self): time.sleep(random.uniform(*self.delay_range)) def fetch(self, url, paramsNone): self.polite_wait() resp self.session.get(url, paramsparams, timeout15) resp.raise_for_status() return resp.text def parse_product_page(self, html): soup BeautifulSoup(html, html.parser) result {} # 制造商型号 mfr_elem soup.select_one(#product-details h1) if mfr_elem: result[manufacturer_part_number] mfr_elem.get_text(stripTrue) # DigiKey 零件编号 dk_elem soup.select_one(#product-details .product-details__digi-key-part-number) if dk_elem: result[digi_key_part_number] dk_elem.get_text(stripTrue) # 制造商 mfr_name_elem soup.select_one(#product-details .manufacturer a) if mfr_name_elem: result[manufacturer] mfr_name_elem.get_text(stripTrue) # 规格参数表 spec_table soup.select_one(#product-details .product-details__specifications table) if spec_table: specs {} for row in spec_table.select(tr): cells row.find_all(td) if len(cells) 2: key cells[0].get_text(stripTrue) value cells[1].get_text(stripTrue) specs[key] value result[specifications] specs # 价格档位 price_rows soup.select(#product-details .product-details__pricing tr) price_breaks [] for row in price_rows: cells row.find_all(td) if len(cells) 2: qty_text cells[0].get_text(stripTrue) price_text cells[1].get_text(stripTrue) match re.match(r([\d,])\s*-\s*([\d,]*), qty_text) if match: min_qty int(match.group(1).replace(,, )) max_text match.group(2).replace(,, ) max_qty int(max_text) if max_text else None price float(price_text.replace($, ).replace(,, )) price_breaks.append({ min_qty: min_qty, max_qty: max_qty, price: price }) result[price_breaks] price_breaks # 库存数量 stock_elem soup.select_one(#product-details .product-details__inventory) if stock_elem: stock_text stock_elem.get_text(stripTrue) stock_match re.search(r([\d,]), stock_text) result[stock] int(stock_match.group(1).replace(,, )) if stock_match else 0 return result def scrape(self, part_numbers): rows [] for pn in part_numbers: url fhttps://www.digikey.com/en/products/detail/{pn} try: html self.fetch(url) data self.parse_product_page(html) data[input_part_number] pn rows.append(data) print(f[OK] {pn} - {data.get(manufacturer_part_number, N/A)}) except Exception as e: print(f[FAIL] {pn} - {str(e)}) return rows if __name__ __main__: scraper DigiKeyScraper() test_parts [297-1271-1-ND, 497-2745-1-ND] results scraper.scrape(test_parts) df pd.DataFrame(results) df.to_csv(digikey_data.csv, indexFalse, encodingutf-8-sig) print(Done. Saved to digikey_data.csv)这段代码的逻辑不复杂核心就是把 DigiKey 详情页上分散在各处的数据拼装成一行记录。代码里有几个可以复用的设计点用requests.Session保持连接复用减少了重复的 TCP 握手开销请求间隔随机化在 1 到 2.5 秒之间浮动避免形成固定请求节奏异常隔离单个料号抓取失败不影响其他料号的执行3.3 实际运行效果与数据验证用上面的测试代码跑两个料号运行日志大致是这样[OK] 297-1271-1-ND - TPS5430DDAR [OK] 497-2745-1-ND - STM32F103C8T6 Done. Saved to digikey_data.csv生成的 CSV 里每一行是一个料号的所有信息规格参数以 JSON 字符串的形式存在specifications列里。这样做的优点是结构灵活缺点是直接用 Excel 过滤不太方便。如果想让规格参数变成独立的列可以在清洗阶段把 DataFrame 做一次展平操作。我建议把抓取和清洗分成两个脚本抓取脚本只负责拿原始数据清洗脚本负责转换格式。这样分工清晰改需求的时候不会牵一发动全身。3.4 批量抓取的任务队列设计真实场景下一次要抓的料号动辄几百个直接写线性循环会很慢而且容易出问题。我在实际中引入了一个简单的任务队列机制先读本地文件里的料号清单逐个抓取失败的重试一次记录完成状态这样即使中途断掉也能从断点继续。任务队列的设计不需要很复杂一个 list 加一个已完成的 set 就够了。我在项目里加了一个resume参数传入上次已经完成的任务文件会自动跳过已抓过的料号。效果拔群尤其是抓大几千个料号时网速波动或者被临时封禁导致的中断不会被浪费。4. 常见问题与排查技巧实录写爬虫的过程中一定会遇到各种诡异的问题这里整理几个最典型的都是我在实际踩过的坑。4.1 请求被拒绝与限流处理DigiKey 对异常请求的响应特征很明显直接返回 403 错误或者在页面上出现验证码页面。我在实际中遇到 403 的频率和请求速度强相关请求间隔低于 0.5 秒时几乎瞬间触发。我的处理方案是降低请求频率并增加指数退避重试机制。每次遇到 403将等待时间翻倍从 1 秒到 10 秒之间逐级递增最多重试三次。实测下来非常有效。另外还有一个技巧是切换 User-Agent 到比较冷门的浏览器版本有时候能绕过基于 UA 的简单过滤。4.2 页面结构调整导致解析失败这是爬虫最常见的“上线即崩”问题。DigiKey 改版之后CSS 选择器对应的类名变了整个 parse 函数就失效了。解决方案有几个层面写代码时优先选择稳定的选择器标签名和 ID 比 CSS 类名更稳定定期用 curl 检查页面结构发现问题及时调整不要过度依赖一个选择器可以在解析函数里做多重 fallback我在代码里对关键字段做了多级定位比如先查 ID 再查类名大大提升了抗结构性变化的容错能力。4.3 编码问题与字符串坑DigiKey 的页面是 UTF-8 编码但如果你拿到的是部分接口返回的数据可能会遇到 Latin-1 或 ASCII 编码不兼容的情况。遇到特殊字符如注册商标符号或度数符号直接用get_text(stripTrue)一般没问题但在导出 CSV 时要指定encodingutf-8-sig这样 Excel 打开才不会乱码。还有一个细节价格字段里的美元符号和小数点不同语言环境下的格式有差异比如某些地区用逗号做小数点。解析时提前做正则兼容不要等数据落地之后再返工。4.4 常见问题速查表问题现象可能原因解决方案403 Forbidden 响应请求频率过高增加请求间隔启用指数退避返回页面无产品数据URL 参数缺失检查 keywords 和 pkeyword 是否都带了规格参数为空选择器失效改用多级 fallback 选择器库存显示为 0页面字段确实是 0检查是 Factory Stock 还是无库存CSV 打开乱码编码格式不对使用 utf-8-sig 编码导出时间超过预期 10 倍每页都等待超时减少超时时间启用失败快速跳过5. 使用心得与扩展建议这个工具从最初的一个简单脚本慢慢迭代成了现在这个可以日常使用的爬虫中间改过很多版有一些经验值得记录。5.1 保持简单别过度设计第一版我试图做一个分布式爬虫还加上了 Redis 队列和代理池后来发现自己根本用不到这些。对于中小规模的元器件数据抓取单机加多线程就足够了。过度设计不仅增加维护成本还会让代码变得难以理解和调试。现在的版本就是一个类加几个函数任何能跑 Python 的环境都能直接用。5.2 数据的二次利用思路爬下来的数据不应该只是存在 CSV 里吃灰。我目前在做两个方向的扩展一是价格预警定期抓一次目标料号的价格和库存发现波动就推送通知这样能及时感知市场变化。二是选型辅助在本地把规格参数做成一个小的检索库和厂商数据手册对比快速筛选出符合设计要求的元件。这些应用方向才是爬虫数据的真正价值。5.3 爬虫之外的思考最后想聊一点关于合规和技术的认识。写爬虫的过程本质上是在和网页的结构化设计“对话”理解对方的数据组织方式再设计合适的提取逻辑。这个能力不会过时因为只要 Web 存在就会有“把网页变成结构数据”的需求。但务必要把合规底线守住尊重目标网站的服务条款和 robots 协议合理设置请求频率不要因为自己的需求去影响别人的正常服务。小规模工具保证自用没问题大规模商用还是要走正规渠道。DigiKey 本身有官方 API 和数据服务如果你对数据完整性和时效性要求很高去申请官方接口其实是更优解。本文还有配套的精品资源点击获取
，系统梳理指针知识点：指针操作符，指针类型，指针运算，const 修饰，野指针，assert断言，传址调用)
