核心问题：直接提取全部文本、去掉所有空格做字符串比对，是否合理？
结论：不完全合理，有坑，但可以改造后可用。
为什么直接“全部提取文本+删掉全部空格换行”有问题
- 无关文本干扰：广告、侧边栏、时间戳、访问统计、页面弹窗、js动态渲染提示、底部版权时间，每次刷新会变，实际正文没有变，比对会误判为变更。
- 标签内属性文本混入（meta、script、style内文字），这些不属于页面可见正文。
- 空格语义被完全抹除：正常段落内部空格、换行全部删除，虽然适合简单比对，但丢失原文；另外HTML里
、\t、\r多种空白字符需要统一处理。 - DOM顺序微调：网页开发者微调标签嵌套、增加class/id属性，可见文本完全没变，但HTML源码不一样；如果你只关心人看到的内容，应该对比渲染后的可见文本，而不是原始html源码。
- 动态网页：JS渲染内容，如果只用requests拿静态HTML，拿不到js生成的文本。
适用场景：适合简单静态页面、正文占绝大部分、噪声少的场景；不适合新闻门户、带广告、侧边组件频繁改动的网页。
方案一：提取HTML可见纯文本（使用BeautifulSoup）
关键点：
- 移除
<script> <style> <noscript>标签，不要把JS、CSS代码当成文本。 - 提取用户肉眼可见文本。
- 空白字符归一化：不是粗暴删除所有空格，两种策略：
- 策略A（用于比对）：把所有空白（换行、制表、多个空格、
）压缩成单个空格； - 策略B（你想要）：全部删除所有空白字符，得到一整串连续字符串用于哈希比对。
- 策略A（用于比对）：把所有空白（换行、制表、多个空格、
- 对文本做哈希（md5）保存到数据库，下次抓取直接对比哈希，不用存大段文本。
完整示例代码
frombs4importBeautifulSoupimportreimporthashlibdefextract_visible_text(html:str,remove_all_whitespace:bool=False)->str:""" 提取HTML可见文本，剔除script/style等标签内容 :param html: html原始字符串 :param remove_all_whitespace: True=删除全部空白；False=多个空白压缩成单个空格 :return: 清洗后的纯文本 """soup=BeautifulSoup(html,"html.parser")# 删除脚本、样式标签，不要它们的文本forbad_taginsoup(["script","style","noscript"]):bad_tag.decompose()# 获取全部可见文本raw_text=soup.get_text(separator=" ")# 替换所有空白字符：换行\r\n、制表\t、nbsp、多个空格# \s 匹配：空格、制表符、换行、回车ifremove_all_whitespace:# 全部删掉所有空白字符，得到连续字符串clean_text=re.sub(r"\s+","",raw_text)else:# 多个空白压缩为1个空格，保留语义clean_text=re.sub(r"\s+"," ",raw_text).strip()returnclean_textdefcalc_text_hash(text:str)->str:"""计算md5哈希，用于快速比对，存入数据库"""returnhashlib.md5(text.encode("utf-8")).hexdigest()# ---------------- 使用示例 ----------------if__name__=="__main__":html1=""" <html> <body> <div>你好 世界！</div> <script>console.log(123)</script> <p>第一行<br>第二行</p> </body> </html> """text_all_remove=extract_visible_text(html1,remove_all_whitespace=True)print(f"删除全部空白文本：{text_all_remove}")# 输出：你好世界！第一行第二行text_compress=extract_visible_text(html1,remove_all_whitespace=False)print(f"空白压缩为单个空格：{text_compress}")# 输出：你好 世界！ 第一行 第二行hash_val=calc_text_hash(text_all_remove)print(f"文本md5:{hash_val}")# 比对逻辑：数据库存上次的md5old_hash="xxx"ifhash_val!=old_hash:print("页面内容发生变化")else:print("页面没有变化")两种比对思路对比
| 方案 | 做法 | 优点 | 缺点 |
|---|---|---|---|
| 比对原始HTML源码 | 直接对比requests拿到的response.text | 最简单 | css class、注释、换行、js随机变量微小改动就判定变更，大量误报 |
| 提取可见文本，删除全部空格后比对 | re.sub(r"\s+","",text)后对比字符串/md5 | 字符串短，比对极快；不关心排版换行 | 丢失段落语义；页面插入一个空格就不变，但是文字顺序改动可以识别；广告噪声会带来误判 |
| 提取可见文本，空白压缩为单个空格比对 | 多个空白压缩为一个空格 | 保留基础语义，更贴近阅读体验 | 字符串略长，比对速度略低 |
建议：数据库存储清洗后文本的md5哈希值，不要每次存整段大文本，节省存储空间。
重要缺陷与优化建议（解决误报）
问题1：页面存在噪声（时间、广告、访问计数）
比如网页底部：更新时间：2026‑08‑05，每次抓取时间变化，正文不变，会判定页面改动。
优化：
- 如果页面有固定选择器（比如正文是
div.content），不要抓取整个页面的全部文本！只提取正文区块。
# 只提取正文部分，不要整个网页content_div=soup.select_one("div.content")ifcontent_div:raw_text=content_div.get_text(separator=" ")这是最关键优化！不要拿整个网页，优先定位正文DOM节点。
问题2：JS动态渲染页面
requests只能拿到初始静态HTML，如果内容是JS渲染出来，BeautifulSoup提取不到。
解决：使用DrissionPage / Playwright获取渲染完成后的HTML。
问题3：极小改动（标点、一个字改动）
md5可以精准识别任意字符改动；如果业务希望容忍微小改动，可以用文本相似度算法（difflib、simhash），而不是严格相等。
- md5：严格完全相等才判定无变化；只要一个字符不同，哈希完全不同；适合要求精准比对。
- simhash：适合新闻网页，允许少量文字改动，判断是否“大体内容没变”。
回到你的业务，什么场景适合“提取全部文本去空格比对”
✅适合场景：
- 静态页面，正文是主体，广告/噪声很少；
- 只关心文字内容，不在乎排版、换行；
- 需要快速判断页面是否改动。
❌不适合场景：
- 网页有动态时间戳、广告、侧边栏、计数器；
- 需要区分排版，空格换行有业务意义；
- JS渲染为主的网页。
推荐最终工作流（你的爬虫）
- 请求拿到html；
- 优先选择正文DOM节点，而不是整个页面；
- 提取可见文本，过滤script/style；
- 将空白全部归一化（压缩或者删除）；
- 计算md5哈希；
- 和数据库中历史md5对比：
- 哈希一致 → 页面无变化，跳过存储；
- 哈希不一致 → 内容更新，保存新文本+新md5入库。
如果无法定位正文DOM，只能抓取全页文本，你需要做好心理准备：会出现少量“误报变更”，建议日志记录，定期排查。
)
