刚接触 Python 的朋友最常问的一句话就是零基础学 Python到底先学什么后学什么网上资料堆成山但总感觉东学一点、西学一点学完基础不会用拿到数据不会分析想抓网页又不知道从哪里下手。考虑到这样的需求本文围绕一条完整的 Python 入门学习路径展开覆盖 Python 基础语法、常用工具、网络爬虫入门和数据分析实战。整个内容按照“零基础可上手、循序渐进、案例驱动”的思路整理你既可以把它当作系统学习路线也可以直接跳到对应章节做参考。文章会涉及 Python 环境搭建、核心语法、requests 与 BeautifulSoup 爬虫、pandas 数据清洗与分析、matplotlib 可视化等内容。每一个章节都尽量给出可运行的代码片段和运行思路遇到常见报错也会单独说明排查方法。希望看完后你能建立起一条属于自己的 Python 学习主线不再被零散的知识点带偏。1. Python 是什么为什么值得学1.1 Python 的核心特点Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。很多人第一次接触 Python最大的感受就是“语法简单、写起来快”。这背后有几个具体原因Python 使用缩进来定义代码块不需要大量使用大括号和分号代码结构看起来更干净。它提供了非常丰富的基础数据类型比如列表、字典、元组、集合很多数据处理需求可以直接用语言本身的特性完成不需要自己实现底层数据结构。第三方库生态非常成熟。无论是数据分析、爬虫、Web 开发还是机器学习、自动化办公基本都有开箱即用的库。从应用场景来看Python 经常出现在以下几类任务中网络爬虫用 requests、Scrapy 等库抓取网页数据。数据分析用 pandas、NumPy 处理表格数据用 matplotlib、seaborn 做可视化。自动化脚本批量处理文件、自动发送邮件、定时执行任务。Web 开发Django、Flask、FastAPI 都是使用率很高的 Web 框架。人工智能与机器学习TensorFlow、PyTorch、scikit-learn 等框架都提供了 Python 接口。所以Python 不是只能做某一个方向的“小工具”而是一套覆盖面很广的技术栈。对于零基础入门的同学来说最大的优势是它能让你在相对短的时间内跑通“数据处理 自动化 可视化”的完整流程建立编程信心。1.2 学习 Python 的常见误区看到“五天从入门到精通”这类说法很多人会误以为只要把视频教程刷完就能直接上岗。实际上真正的学习路径是“理解概念—动手练习—项目实战—复盘总结”的循环没有谁可以只靠“看”就学会编程。常见误区包括只记语法不写代码。这是新手最容易犯的问题。Python 的语法看起来简单但真正动手写的时候变量的类型、函数的参数、循环的边界条件都会暴露问题。跳着学基础没打牢就冲爬虫或数据分析。比如不清楚列表和字典的区别直接看爬虫代码会发现每一行都认识但组合在一起就不知道什么意思。只学库怎么用不理解背后的数据结构和算法思想。比如只记住了df.groupby()的写法却不知道为什么分组后需要进行聚合操作换一个需求就不知道怎么处理了。本文后续的章节会尽量规避这些坑。从环境搭建开始按“语法 → 数据处理 → 爬虫”的顺序展开每一部分都有可运行的示例适合跟着练习。2. 环境准备搭建 Python 开发环境2.1 安装 Python 解释器在写代码之前我们需要在电脑上安装 Python。官方的下载地址是 python.org进入后选择适合自己的操作系统版本即可。需要注意版本选择。目前 Python 3.x 是主流很多第三方库已经停止对 Python 2 的支持所以新项目直接使用 Python 3 就好。如果是 Windows 系统在安装过程中记得勾选Add Python to PATH这一步非常重要否则后续在命令行中输入 python 可能提示找不到命令。如果你使用的是 macOS除了官网安装包也可以考虑 Homebrew 方式安装。Linux 系统一般自带 Python 3但版本可能偏老建议根据项目需要安装合适的版本。安装完成后可以在终端或命令行中执行以下命令验证python --version正常情况下会输出类似Python 3.11.x的版本信息。如果你本机安装了多个 Python 版本可能需要使用python3代替python。2.2 选择合适的 IDE对新手来说不建议一开始就折腾复杂的编辑器配置。推荐以下三种方式PyCharm功能完整适合做较大项目社区版免费。VS Code轻量级配合 Python 扩展就能获得代码提示、调试等功能。Jupyter Notebook / JupyterLab适合数据分析和学习阶段可以分单元格运行代码方便观察每一段结果。在这篇文章的示例中爬虫部分建议使用脚本文件运行因为涉及循环、异常处理时脚本更直观数据分析部分可以用 Jupyter Notebook因为分步查看数据结构会更舒服。如果你使用 VS Code安装官方 Python 扩展后需要注意右下角解释器路径的选择。有时候安装了 Python 但编辑器仍提示找不到解释器大概率是解释器路径没有配置正确。2.3 安装第三方库本文后面会用到 requests、BeautifulSoup4、pandas、matplotlib 这几个库安装命令示例如下pip install requests beautifulsoup4 pandas matplotlib如果你使用的是国内网络遇到安装超时的情况可以换用国内镜像源pip install requests beautifulsoup4 pandas matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple版本说明不同库的新版本可能在接口上有细微变化本文示例以常规稳定版为准。比如 pandas 2.x 与 1.x 在很多常用接口上保持兼容但如果你使用的是旧版建议先升级到较新版本再运行示例。3. Python 核心语法与数据结构速览3.1 变量与基础数据类型Python 中定义变量不需要声明类型解释器会根据赋值自动判断。常见的基础类型包括整型、浮点型、字符串、布尔值等。name CSDN # 字符串 year 2024 # 整型 pi 3.14159 # 浮点型 is_learn True # 布尔值 print(name) print(year) print(pi) print(is_learn)这里建议一开始就养成“变量命名要有意义”的习惯。比如用student_name而不是sn用price_list而不是pl。虽然短变量名写起来快但代码一长含义不明的变量会让人非常头疼。3.2 列表、元组、字典与集合列表是 Python 中最常用的序列类型可以存储任意类型的元素并且支持增删改查。# 列表 fruits [apple, banana, cherry] fruits.append(orange) # 添加元素 fruits.remove(banana) # 删除元素 print(fruits[0]) # 获取第一个元素 # 元组不可变序列 point (10, 20) print(point[0]) # 字典键值对 student {name: 小明, score: 88} print(student[name]) student[score] 95 # 修改值 # 集合去重 tags {python, data, python} print(tags) # 输出 {data, python}列表和元组最大的区别在于可变性。列表可以增删改元组一旦创建就不能改变。在实际开发中如果某个数据集合从头到尾都不需要修改用元组更安全。字典在处理结构化数据时非常方便特别是在爬虫里面解析 JSON 数据后得到的通常就是字典。而集合最主要的用途就是去重和成员判断。3.3 条件判断与循环条件判断使用if / elif / else注意每行结尾的冒号和代码块缩进。score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)循环方面for循环最常用。下面的示例遍历一个列表并打印每个元素的长度words [apple, banana, cherry] for word in words: print(word, len(word))while循环适用于不知道循环次数的场景但一定要小心“死循环”。比如下面的代码每循环一次更新一次计数器如果没有count 1程序就会一直运行count 0 while count 5: print(当前计数:, count) count 13.4 函数与模块化思想函数是组织代码的重要手段。把一段重复使用的逻辑封装成函数可以避免到处复制粘贴。def calculate_area(radius): 计算圆的面积 pi 3.14159 return pi * radius * radius print(calculate_area(5))函数的定义以def开头后面是函数名、参数列表和冒号。函数体内部可以写注释说明功能返回值使用return。需要注意的是Python 中缩进表示代码块所以函数体内部的行必须保持相同层级的缩进。模块化的意思是把一个大的需求拆成多个小函数每个函数只做一件事。比如爬虫项目可以拆成“获取页面”“解析页面”“保存数据”三个函数后续维护时只需要分别修改对应的函数而不是在一大段代码里找问题。4. 数据分析入门用 pandas 处理表格数据4.1 为什么使用 pandaspandas 是 Python 数据分析中最核心的第三方库。它提供了两种重要的数据结构Series 和 DataFrame。简单理解Series 是一列带索引的数据DataFrame 是一个二维表格相当于 Excel 中一张工作表。在做数据分析时我们经常要做这几类操作读取数据从 CSV、Excel、TXT、数据库等来源读取数据。数据清洗处理缺失值、重复值、异常值。数据转换新增列、修改列类型、筛选行。分组聚合按某个字段分组计算平均值、总和、数量等。可视化基于处理后的数据画折线图、柱状图等。下面用一个实际示例来展开说明。4.2 读取 CSV 文件假设我们有一个sales_data.csv文件内容结构如下日期,城市,销售额,订单数 2024-01-01,北京,12000,35 2024-01-01,上海,15000,42 2024-01-02,北京,11800,33 2024-01-02,上海,16000,45 2024-01-03,北京,13200,38 2024-01-03,上海,17500,50我们可以用 pandas 读取它import pandas as pd data pd.read_csv(sales_data.csv) print(data.head())read_csv是读取 CSV 文件最常用的函数head()默认显示前 5 行。运行后可以看到表格数据以二维表格形式展示。4.3 数据清洗基础真实项目中的数据往往没有这么干净。常见问题包括空值、重复行、数据类型不对等。下面这段代码演示了几种基础处理方式import pandas as pd # 读取数据 data pd.read_csv(sales_data.csv) # 查看基本信息 print(data.info()) # 检查缺失值 print(data.isnull().sum()) # 删除缺失值所在的行 data data.dropna() # 删除重复行 data data.drop_duplicates()info()方法可以输出每个列的名称、非空数量、数据类型对于快速浏览数据概况非常实用。isnull().sum()可以统计每一列的缺失值数量。如果某列的数据类型不对可能还需要使用astype()做类型转换比如把订单数列转为整型。需要注意dropna()和drop_duplicates()默认都会返回新对象而不是直接在原数据上修改。如果你希望覆盖原来的 DataFrame需要重新赋值或者加上inplaceTrue。不过现在越来越多的教程建议不使用inplaceTrue而是采用重新赋值的方式这样更符合链式操作习惯。4.4 分组聚合与统计分析pandas 的groupby是数据分析中非常高频的功能。比如我们希望计算不同城市的平均销售额和总订单数可以这样写city_stats data.groupby(城市).agg( 总销售额(销售额, sum), 平均销售额(销售额, mean), 总订单数(订单数, sum) ) print(city_stats)这段代码先按“城市”分组然后通过agg方法传入一个字典形式的聚合逻辑。(销售额, sum)的意思是对销售额列求和(销售额, mean)表示求平均。执行结果会显示每个城市的统计指标。这种分组聚合方式在 Excel 中需要用到透视表而 pandas 只需要几行代码就能实现。4.5 数据可视化示例有了处理好的数据我们可以用 matplotlib 画图。一个简单的柱状图示例import pandas as pd import matplotlib.pyplot as plt # 读取并处理数据 data pd.read_csv(sales_data.csv) city_stats data.groupby(城市)[销售额].sum() # 画柱状图 city_stats.plot(kindbar) plt.title(各城市总销售额对比) plt.xlabel(城市) plt.ylabel(销售额) plt.show()如果需要在 Jupyter Notebook 中直接显示中文一般还需要设置支持中文的字体。否则可能遇到中文乱码问题后面常见问题章节会介绍处理思路。5. 爬虫入门用 requests 与 BeautifulSoup 抓取网页5.1 爬虫的基本原理网络爬虫的本质是模拟浏览器向服务器发送 HTTP 请求收到服务器返回的 HTML JSON 等数据后再从中提取我们需要的内容。整个过程可以拆成三个步骤获取数据使用 requests 库发起 HTTP 请求。解析数据使用 BeautifulSoup、正则表达式或 JSON 解析方式提取有效信息。保存数据把结果保存为 CSV、Excel、JSON 或数据库。在动手写爬虫之前有一个非常重要的前提应当遵守网站的 robots 协议尊重目标网站的使用条款控制请求频率不要对目标服务器造成过大压力。本文示例只用于技术学习请勿对非公开数据接口做高强度抓取。5.2 使用 requests 获取页面requests 库的get方法可以发送 GET 请求。下面是一个最小示例import requests url https://example.com response requests.get(url) print(response.status_code) # 打印状态码200 表示成功 print(response.text[:200]) # 打印页面内容前 200 个字符status_code是 HTTP 响应状态码常见的除了 200还有 404页面不存在、403禁止访问等。通过检查状态码可以判断请求是否成功。有些页面会校验请求头比如 User-Agent。如果直接访问返回 403可以模拟常见浏览器的请求头headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36 } response requests.get(url, headersheaders)5.3 使用 BeautifulSoup 解析 HTMLBeautifulSoup 是一个用于解析 HTML 和 XML 的库。拿到 HTML 后我们可以通过标签名、class 名称、id 等定位到需要的内容。下面是一个简单示例。假设页面中有如下 HTML 结构html body div classnews-item h2 classtitlePython 3.12 发布/h2 span classdate2024-01-10/span /div /body /html使用 BeautifulSoup 提取标题和日期from bs4 import BeautifulSoup html html body div classnews-item h2 classtitlePython 3.12 发布/h2 span classdate2024-01-10/span /div /body /html soup BeautifulSoup(html, html.parser) title soup.find(h2, class_title).text date soup.find(span, class_date).text print(title) print(date)find方法返回第一个匹配的标签find_all返回所有匹配结果的列表。通过class_参数可以按 CSS 类名过滤注意这里的 class 后面有下划线因为class是 Python 的关键字。5.4 爬虫实战采集多页列表数据下面模拟一个常见场景抓取某个新闻列表页中所有新闻的标题和链接。为了安全演示这里不依赖具体网站而是构造一个简单的本地 HTML 文件来跑通流程。import requests from bs4 import BeautifulSoup # 示例页面内容 html_doc html body ul classnews-list lia href/news/1Python 基础教程/a/li lia href/news/2pandas 使用技巧/a/li lia href/news/3爬虫入门指南/a/li /ul /body /html soup BeautifulSoup(html_doc, html.parser) items soup.select(ul.news-list li a) for item in items: title item.text link item[href] print(title, link)这里使用了select方法它可以接收 CSS 选择器。ul.news-list li a表示“class 为 news-list 的 ul 元素下面的所有 li 中的 a 标签”这种写法在处理复杂页面时比反复嵌套查找更清晰。5.5 爬虫数据保存把抓取到的数据保存为 CSV 可以使用 csv 模块也可以借助 pandas。下面用 pandas 的方式更直观import pandas as pd news_data [ {title: Python 基础教程, link: /news/1}, {title: pandas 使用技巧, link: /news/2}, {title: 爬虫入门指南, link: /news/3}, ] df pd.DataFrame(news_data) df.to_csv(news.csv, indexFalse, encodingutf-8-sig)注意这里使用了encodingutf-8-sig可以让 CSV 文件在 Windows 下用 Excel 打开时不出现乱码。6. 常见问题与排查思路问题现象常见原因解决思路pip 安装库时提示超时网络不稳定或连接官方源过慢使用国内镜像源或设置超时时间运行 Python 提示不是内部或外部命令Python 未添加到 PATH 环境变量重新安装并勾选 Add Python to PATH或手动配置环境变量VS Code 找不到解释器没有选择正确的 Python 解释器路径按 CtrlShiftP执行 Python: Select Interpreter选择已安装的 Pythonpandas 读取 CSV 时中文乱码文件编码与读取编码不一致使用 encoding 参数例如 encodingutf-8 或 encodinggbkmatplotlib 画图中文乱码默认字体不支持中文配置中文字体例如 SimHei 或 Microsoft YaHeirequests 请求返回 403服务器拒绝了请求添加 User-Agent 等请求头降低请求频率必要时使用代理按合法授权场景BeautifulSoup 解析结果为空选择器写错或页面内容由 JS 动态渲染先在浏览器中检查目标元素是否在静态 HTML 中若为动态页面需考虑接口分析或自动化工具这里单独说一下“爬虫解析结果为空”的问题。很多新闻网站或电商页面的内容是异步加载的服务器返回的 HTML 中并没有真正的数据数据是通过 JavaScript 请求后端接口后填充进去的。遇到这种情况单纯用 requests 拿到 HTML 是看不到内容的需要打开浏览器开发者工具找到真实的数据接口再分析接口参数。这个阶段是爬虫学习的分水岭理解了动态页面你才真正开始理解爬虫与前端交互的关系。7. 数据分析与爬虫结合的最佳实践7.1 用爬虫获取数据后先用探索性分析很多初学者拿到数据后第一反应就是画图。但更稳妥的顺序是先看数据规模、列名、类型、缺失情况再做清洗最后才做可视化和指标计算。一个推荐的流程是爬虫抓取原始数据统一保存为 CSV 或 JSON。使用 pandas 读取调用info()和describe()快速了解数据。处理缺失值、重复值和异常值。根据业务需求计算新字段例如从日期中提取月份、星期。使用 matplotlib 或 seaborn 画图辅助发现规律。输出结论或导出汇总表。7.2 代码组织把项目拆成函数或模块不要把所有代码都写在一个脚本里。建议按功能拆分成模块例如project/ ├── spider.py # 爬虫相关代码 ├── analysis.py # 数据分析相关代码 ├── config.py # 请求头、路径等常量 └── output/ # 存放生成的文件例如spider.py可以这样组织import requests from bs4 import BeautifulSoup def fetch_page(url): headers { User-Agent: Mozilla/5.0 } response requests.get(url, headersheaders) response.raise_for_status() return response.text def parse_news(html): soup BeautifulSoup(html, html.parser) items soup.select(.news-list li a) results [] for item in items: results.append({ title: item.text, link: item[href] }) return results def save_to_csv(data, filename): import pandas as pd df pd.DataFrame(data) df.to_csv(filename, indexFalse, encodingutf-8-sig)这里把“获取页面”“解析数据”“保存数据”拆成三个函数主程序只需要调用它们可读性和可维护性都会明显提升。7.3 异常处理与日志记录爬虫项目中网络请求失败、解析字段缺失都是非常常见的情况。如果程序因为一条数据异常就崩溃效率会很低。推荐使用 try-except 捕获异常并记录日志。import logging logging.basicConfig(levellogging.INFO) try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() except requests.RequestException as e: logging.error(f请求失败: {url}, 错误: {e}) else: logging.info(f请求成功: {url}, 状态码: {response.status_code})logging库可以输出带时间级别的日志信息比散落的 print 更容易排查问题。实际项目中还可以把日志写入文件方便后续查看。7.4 安全与合规注意事项在学习和工作中爬虫的合理使用非常重要。这里总结几条实际建议只爬取自己有权限访问的数据不绕开登录、验证码等访问限制。控制请求频率避免对服务器造成压力。如果页面有公开 API 或官方数据接口优先使用接口而不是解析 HTML。爬取到的数据仅用于合法学习和研究不要用于商业用途尤其不要涉及个人隐私信息。生产环境中的数据采集、清洗、入库应遵循公司制度和相关法律法规。8. 总结与下一步学习路线本文围绕 Python 零基础入门、数据分析、网络爬虫这三条主线梳理了一条完整的学习路径。你实际上手后应该掌握这些内容完成 Python 开发环境搭建能选择适合自己的 IDE。熟悉变量、数据类型、条件判断、循环、函数等核心语法。能够使用 pandas 完成 CSV 数据读取、清洗、分组聚合和简单可视化。能够使用 requests 和 BeautifulSoup 完成静态网页的数据抓取与保存。知道遇到中文乱码、请求失败、解析为空时如何排查。接下来可以继续深入的方向有很多。如果对数据分析感兴趣建议学习 NumPy 的数组运算、pandas 的时间序列处理、seaborn 的高级可视化以及 SQL 数据库查询。如果对爬虫感兴趣可以学习 scrapy 框架、动态页面数据接口分析、常见反爬策略的应对思路但要始终注意合规边界。学习编程不能只看不练。建议你从今天这篇文章的示例代码开始先自己动手在本地跑一遍然后尝试改一改数据结构、换一个目标页面哪怕只是调整一个小功能也能带来真实的经验积累。等到能独立写出一套“爬虫抓取 → 数据清洗 → 可视化输出”的小项目你对 Python 的基础掌握就已经比较稳了。如果你觉得本文对你有帮助可以收藏备用也欢迎在动手过程中遇到问题时回来查阅排查思路。
零基础学Python完整学习路线：从语法到爬虫与数据分析
刚接触 Python 的朋友最常问的一句话就是零基础学 Python到底先学什么后学什么网上资料堆成山但总感觉东学一点、西学一点学完基础不会用拿到数据不会分析想抓网页又不知道从哪里下手。考虑到这样的需求本文围绕一条完整的 Python 入门学习路径展开覆盖 Python 基础语法、常用工具、网络爬虫入门和数据分析实战。整个内容按照“零基础可上手、循序渐进、案例驱动”的思路整理你既可以把它当作系统学习路线也可以直接跳到对应章节做参考。文章会涉及 Python 环境搭建、核心语法、requests 与 BeautifulSoup 爬虫、pandas 数据清洗与分析、matplotlib 可视化等内容。每一个章节都尽量给出可运行的代码片段和运行思路遇到常见报错也会单独说明排查方法。希望看完后你能建立起一条属于自己的 Python 学习主线不再被零散的知识点带偏。1. Python 是什么为什么值得学1.1 Python 的核心特点Python 是一种解释型、面向对象、动态数据类型的高级程序设计语言。很多人第一次接触 Python最大的感受就是“语法简单、写起来快”。这背后有几个具体原因Python 使用缩进来定义代码块不需要大量使用大括号和分号代码结构看起来更干净。它提供了非常丰富的基础数据类型比如列表、字典、元组、集合很多数据处理需求可以直接用语言本身的特性完成不需要自己实现底层数据结构。第三方库生态非常成熟。无论是数据分析、爬虫、Web 开发还是机器学习、自动化办公基本都有开箱即用的库。从应用场景来看Python 经常出现在以下几类任务中网络爬虫用 requests、Scrapy 等库抓取网页数据。数据分析用 pandas、NumPy 处理表格数据用 matplotlib、seaborn 做可视化。自动化脚本批量处理文件、自动发送邮件、定时执行任务。Web 开发Django、Flask、FastAPI 都是使用率很高的 Web 框架。人工智能与机器学习TensorFlow、PyTorch、scikit-learn 等框架都提供了 Python 接口。所以Python 不是只能做某一个方向的“小工具”而是一套覆盖面很广的技术栈。对于零基础入门的同学来说最大的优势是它能让你在相对短的时间内跑通“数据处理 自动化 可视化”的完整流程建立编程信心。1.2 学习 Python 的常见误区看到“五天从入门到精通”这类说法很多人会误以为只要把视频教程刷完就能直接上岗。实际上真正的学习路径是“理解概念—动手练习—项目实战—复盘总结”的循环没有谁可以只靠“看”就学会编程。常见误区包括只记语法不写代码。这是新手最容易犯的问题。Python 的语法看起来简单但真正动手写的时候变量的类型、函数的参数、循环的边界条件都会暴露问题。跳着学基础没打牢就冲爬虫或数据分析。比如不清楚列表和字典的区别直接看爬虫代码会发现每一行都认识但组合在一起就不知道什么意思。只学库怎么用不理解背后的数据结构和算法思想。比如只记住了df.groupby()的写法却不知道为什么分组后需要进行聚合操作换一个需求就不知道怎么处理了。本文后续的章节会尽量规避这些坑。从环境搭建开始按“语法 → 数据处理 → 爬虫”的顺序展开每一部分都有可运行的示例适合跟着练习。2. 环境准备搭建 Python 开发环境2.1 安装 Python 解释器在写代码之前我们需要在电脑上安装 Python。官方的下载地址是 python.org进入后选择适合自己的操作系统版本即可。需要注意版本选择。目前 Python 3.x 是主流很多第三方库已经停止对 Python 2 的支持所以新项目直接使用 Python 3 就好。如果是 Windows 系统在安装过程中记得勾选Add Python to PATH这一步非常重要否则后续在命令行中输入 python 可能提示找不到命令。如果你使用的是 macOS除了官网安装包也可以考虑 Homebrew 方式安装。Linux 系统一般自带 Python 3但版本可能偏老建议根据项目需要安装合适的版本。安装完成后可以在终端或命令行中执行以下命令验证python --version正常情况下会输出类似Python 3.11.x的版本信息。如果你本机安装了多个 Python 版本可能需要使用python3代替python。2.2 选择合适的 IDE对新手来说不建议一开始就折腾复杂的编辑器配置。推荐以下三种方式PyCharm功能完整适合做较大项目社区版免费。VS Code轻量级配合 Python 扩展就能获得代码提示、调试等功能。Jupyter Notebook / JupyterLab适合数据分析和学习阶段可以分单元格运行代码方便观察每一段结果。在这篇文章的示例中爬虫部分建议使用脚本文件运行因为涉及循环、异常处理时脚本更直观数据分析部分可以用 Jupyter Notebook因为分步查看数据结构会更舒服。如果你使用 VS Code安装官方 Python 扩展后需要注意右下角解释器路径的选择。有时候安装了 Python 但编辑器仍提示找不到解释器大概率是解释器路径没有配置正确。2.3 安装第三方库本文后面会用到 requests、BeautifulSoup4、pandas、matplotlib 这几个库安装命令示例如下pip install requests beautifulsoup4 pandas matplotlib如果你使用的是国内网络遇到安装超时的情况可以换用国内镜像源pip install requests beautifulsoup4 pandas matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple版本说明不同库的新版本可能在接口上有细微变化本文示例以常规稳定版为准。比如 pandas 2.x 与 1.x 在很多常用接口上保持兼容但如果你使用的是旧版建议先升级到较新版本再运行示例。3. Python 核心语法与数据结构速览3.1 变量与基础数据类型Python 中定义变量不需要声明类型解释器会根据赋值自动判断。常见的基础类型包括整型、浮点型、字符串、布尔值等。name CSDN # 字符串 year 2024 # 整型 pi 3.14159 # 浮点型 is_learn True # 布尔值 print(name) print(year) print(pi) print(is_learn)这里建议一开始就养成“变量命名要有意义”的习惯。比如用student_name而不是sn用price_list而不是pl。虽然短变量名写起来快但代码一长含义不明的变量会让人非常头疼。3.2 列表、元组、字典与集合列表是 Python 中最常用的序列类型可以存储任意类型的元素并且支持增删改查。# 列表 fruits [apple, banana, cherry] fruits.append(orange) # 添加元素 fruits.remove(banana) # 删除元素 print(fruits[0]) # 获取第一个元素 # 元组不可变序列 point (10, 20) print(point[0]) # 字典键值对 student {name: 小明, score: 88} print(student[name]) student[score] 95 # 修改值 # 集合去重 tags {python, data, python} print(tags) # 输出 {data, python}列表和元组最大的区别在于可变性。列表可以增删改元组一旦创建就不能改变。在实际开发中如果某个数据集合从头到尾都不需要修改用元组更安全。字典在处理结构化数据时非常方便特别是在爬虫里面解析 JSON 数据后得到的通常就是字典。而集合最主要的用途就是去重和成员判断。3.3 条件判断与循环条件判断使用if / elif / else注意每行结尾的冒号和代码块缩进。score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)循环方面for循环最常用。下面的示例遍历一个列表并打印每个元素的长度words [apple, banana, cherry] for word in words: print(word, len(word))while循环适用于不知道循环次数的场景但一定要小心“死循环”。比如下面的代码每循环一次更新一次计数器如果没有count 1程序就会一直运行count 0 while count 5: print(当前计数:, count) count 13.4 函数与模块化思想函数是组织代码的重要手段。把一段重复使用的逻辑封装成函数可以避免到处复制粘贴。def calculate_area(radius): 计算圆的面积 pi 3.14159 return pi * radius * radius print(calculate_area(5))函数的定义以def开头后面是函数名、参数列表和冒号。函数体内部可以写注释说明功能返回值使用return。需要注意的是Python 中缩进表示代码块所以函数体内部的行必须保持相同层级的缩进。模块化的意思是把一个大的需求拆成多个小函数每个函数只做一件事。比如爬虫项目可以拆成“获取页面”“解析页面”“保存数据”三个函数后续维护时只需要分别修改对应的函数而不是在一大段代码里找问题。4. 数据分析入门用 pandas 处理表格数据4.1 为什么使用 pandaspandas 是 Python 数据分析中最核心的第三方库。它提供了两种重要的数据结构Series 和 DataFrame。简单理解Series 是一列带索引的数据DataFrame 是一个二维表格相当于 Excel 中一张工作表。在做数据分析时我们经常要做这几类操作读取数据从 CSV、Excel、TXT、数据库等来源读取数据。数据清洗处理缺失值、重复值、异常值。数据转换新增列、修改列类型、筛选行。分组聚合按某个字段分组计算平均值、总和、数量等。可视化基于处理后的数据画折线图、柱状图等。下面用一个实际示例来展开说明。4.2 读取 CSV 文件假设我们有一个sales_data.csv文件内容结构如下日期,城市,销售额,订单数 2024-01-01,北京,12000,35 2024-01-01,上海,15000,42 2024-01-02,北京,11800,33 2024-01-02,上海,16000,45 2024-01-03,北京,13200,38 2024-01-03,上海,17500,50我们可以用 pandas 读取它import pandas as pd data pd.read_csv(sales_data.csv) print(data.head())read_csv是读取 CSV 文件最常用的函数head()默认显示前 5 行。运行后可以看到表格数据以二维表格形式展示。4.3 数据清洗基础真实项目中的数据往往没有这么干净。常见问题包括空值、重复行、数据类型不对等。下面这段代码演示了几种基础处理方式import pandas as pd # 读取数据 data pd.read_csv(sales_data.csv) # 查看基本信息 print(data.info()) # 检查缺失值 print(data.isnull().sum()) # 删除缺失值所在的行 data data.dropna() # 删除重复行 data data.drop_duplicates()info()方法可以输出每个列的名称、非空数量、数据类型对于快速浏览数据概况非常实用。isnull().sum()可以统计每一列的缺失值数量。如果某列的数据类型不对可能还需要使用astype()做类型转换比如把订单数列转为整型。需要注意dropna()和drop_duplicates()默认都会返回新对象而不是直接在原数据上修改。如果你希望覆盖原来的 DataFrame需要重新赋值或者加上inplaceTrue。不过现在越来越多的教程建议不使用inplaceTrue而是采用重新赋值的方式这样更符合链式操作习惯。4.4 分组聚合与统计分析pandas 的groupby是数据分析中非常高频的功能。比如我们希望计算不同城市的平均销售额和总订单数可以这样写city_stats data.groupby(城市).agg( 总销售额(销售额, sum), 平均销售额(销售额, mean), 总订单数(订单数, sum) ) print(city_stats)这段代码先按“城市”分组然后通过agg方法传入一个字典形式的聚合逻辑。(销售额, sum)的意思是对销售额列求和(销售额, mean)表示求平均。执行结果会显示每个城市的统计指标。这种分组聚合方式在 Excel 中需要用到透视表而 pandas 只需要几行代码就能实现。4.5 数据可视化示例有了处理好的数据我们可以用 matplotlib 画图。一个简单的柱状图示例import pandas as pd import matplotlib.pyplot as plt # 读取并处理数据 data pd.read_csv(sales_data.csv) city_stats data.groupby(城市)[销售额].sum() # 画柱状图 city_stats.plot(kindbar) plt.title(各城市总销售额对比) plt.xlabel(城市) plt.ylabel(销售额) plt.show()如果需要在 Jupyter Notebook 中直接显示中文一般还需要设置支持中文的字体。否则可能遇到中文乱码问题后面常见问题章节会介绍处理思路。5. 爬虫入门用 requests 与 BeautifulSoup 抓取网页5.1 爬虫的基本原理网络爬虫的本质是模拟浏览器向服务器发送 HTTP 请求收到服务器返回的 HTML JSON 等数据后再从中提取我们需要的内容。整个过程可以拆成三个步骤获取数据使用 requests 库发起 HTTP 请求。解析数据使用 BeautifulSoup、正则表达式或 JSON 解析方式提取有效信息。保存数据把结果保存为 CSV、Excel、JSON 或数据库。在动手写爬虫之前有一个非常重要的前提应当遵守网站的 robots 协议尊重目标网站的使用条款控制请求频率不要对目标服务器造成过大压力。本文示例只用于技术学习请勿对非公开数据接口做高强度抓取。5.2 使用 requests 获取页面requests 库的get方法可以发送 GET 请求。下面是一个最小示例import requests url https://example.com response requests.get(url) print(response.status_code) # 打印状态码200 表示成功 print(response.text[:200]) # 打印页面内容前 200 个字符status_code是 HTTP 响应状态码常见的除了 200还有 404页面不存在、403禁止访问等。通过检查状态码可以判断请求是否成功。有些页面会校验请求头比如 User-Agent。如果直接访问返回 403可以模拟常见浏览器的请求头headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/120.0.0.0 Safari/537.36 } response requests.get(url, headersheaders)5.3 使用 BeautifulSoup 解析 HTMLBeautifulSoup 是一个用于解析 HTML 和 XML 的库。拿到 HTML 后我们可以通过标签名、class 名称、id 等定位到需要的内容。下面是一个简单示例。假设页面中有如下 HTML 结构html body div classnews-item h2 classtitlePython 3.12 发布/h2 span classdate2024-01-10/span /div /body /html使用 BeautifulSoup 提取标题和日期from bs4 import BeautifulSoup html html body div classnews-item h2 classtitlePython 3.12 发布/h2 span classdate2024-01-10/span /div /body /html soup BeautifulSoup(html, html.parser) title soup.find(h2, class_title).text date soup.find(span, class_date).text print(title) print(date)find方法返回第一个匹配的标签find_all返回所有匹配结果的列表。通过class_参数可以按 CSS 类名过滤注意这里的 class 后面有下划线因为class是 Python 的关键字。5.4 爬虫实战采集多页列表数据下面模拟一个常见场景抓取某个新闻列表页中所有新闻的标题和链接。为了安全演示这里不依赖具体网站而是构造一个简单的本地 HTML 文件来跑通流程。import requests from bs4 import BeautifulSoup # 示例页面内容 html_doc html body ul classnews-list lia href/news/1Python 基础教程/a/li lia href/news/2pandas 使用技巧/a/li lia href/news/3爬虫入门指南/a/li /ul /body /html soup BeautifulSoup(html_doc, html.parser) items soup.select(ul.news-list li a) for item in items: title item.text link item[href] print(title, link)这里使用了select方法它可以接收 CSS 选择器。ul.news-list li a表示“class 为 news-list 的 ul 元素下面的所有 li 中的 a 标签”这种写法在处理复杂页面时比反复嵌套查找更清晰。5.5 爬虫数据保存把抓取到的数据保存为 CSV 可以使用 csv 模块也可以借助 pandas。下面用 pandas 的方式更直观import pandas as pd news_data [ {title: Python 基础教程, link: /news/1}, {title: pandas 使用技巧, link: /news/2}, {title: 爬虫入门指南, link: /news/3}, ] df pd.DataFrame(news_data) df.to_csv(news.csv, indexFalse, encodingutf-8-sig)注意这里使用了encodingutf-8-sig可以让 CSV 文件在 Windows 下用 Excel 打开时不出现乱码。6. 常见问题与排查思路问题现象常见原因解决思路pip 安装库时提示超时网络不稳定或连接官方源过慢使用国内镜像源或设置超时时间运行 Python 提示不是内部或外部命令Python 未添加到 PATH 环境变量重新安装并勾选 Add Python to PATH或手动配置环境变量VS Code 找不到解释器没有选择正确的 Python 解释器路径按 CtrlShiftP执行 Python: Select Interpreter选择已安装的 Pythonpandas 读取 CSV 时中文乱码文件编码与读取编码不一致使用 encoding 参数例如 encodingutf-8 或 encodinggbkmatplotlib 画图中文乱码默认字体不支持中文配置中文字体例如 SimHei 或 Microsoft YaHeirequests 请求返回 403服务器拒绝了请求添加 User-Agent 等请求头降低请求频率必要时使用代理按合法授权场景BeautifulSoup 解析结果为空选择器写错或页面内容由 JS 动态渲染先在浏览器中检查目标元素是否在静态 HTML 中若为动态页面需考虑接口分析或自动化工具这里单独说一下“爬虫解析结果为空”的问题。很多新闻网站或电商页面的内容是异步加载的服务器返回的 HTML 中并没有真正的数据数据是通过 JavaScript 请求后端接口后填充进去的。遇到这种情况单纯用 requests 拿到 HTML 是看不到内容的需要打开浏览器开发者工具找到真实的数据接口再分析接口参数。这个阶段是爬虫学习的分水岭理解了动态页面你才真正开始理解爬虫与前端交互的关系。7. 数据分析与爬虫结合的最佳实践7.1 用爬虫获取数据后先用探索性分析很多初学者拿到数据后第一反应就是画图。但更稳妥的顺序是先看数据规模、列名、类型、缺失情况再做清洗最后才做可视化和指标计算。一个推荐的流程是爬虫抓取原始数据统一保存为 CSV 或 JSON。使用 pandas 读取调用info()和describe()快速了解数据。处理缺失值、重复值和异常值。根据业务需求计算新字段例如从日期中提取月份、星期。使用 matplotlib 或 seaborn 画图辅助发现规律。输出结论或导出汇总表。7.2 代码组织把项目拆成函数或模块不要把所有代码都写在一个脚本里。建议按功能拆分成模块例如project/ ├── spider.py # 爬虫相关代码 ├── analysis.py # 数据分析相关代码 ├── config.py # 请求头、路径等常量 └── output/ # 存放生成的文件例如spider.py可以这样组织import requests from bs4 import BeautifulSoup def fetch_page(url): headers { User-Agent: Mozilla/5.0 } response requests.get(url, headersheaders) response.raise_for_status() return response.text def parse_news(html): soup BeautifulSoup(html, html.parser) items soup.select(.news-list li a) results [] for item in items: results.append({ title: item.text, link: item[href] }) return results def save_to_csv(data, filename): import pandas as pd df pd.DataFrame(data) df.to_csv(filename, indexFalse, encodingutf-8-sig)这里把“获取页面”“解析数据”“保存数据”拆成三个函数主程序只需要调用它们可读性和可维护性都会明显提升。7.3 异常处理与日志记录爬虫项目中网络请求失败、解析字段缺失都是非常常见的情况。如果程序因为一条数据异常就崩溃效率会很低。推荐使用 try-except 捕获异常并记录日志。import logging logging.basicConfig(levellogging.INFO) try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() except requests.RequestException as e: logging.error(f请求失败: {url}, 错误: {e}) else: logging.info(f请求成功: {url}, 状态码: {response.status_code})logging库可以输出带时间级别的日志信息比散落的 print 更容易排查问题。实际项目中还可以把日志写入文件方便后续查看。7.4 安全与合规注意事项在学习和工作中爬虫的合理使用非常重要。这里总结几条实际建议只爬取自己有权限访问的数据不绕开登录、验证码等访问限制。控制请求频率避免对服务器造成压力。如果页面有公开 API 或官方数据接口优先使用接口而不是解析 HTML。爬取到的数据仅用于合法学习和研究不要用于商业用途尤其不要涉及个人隐私信息。生产环境中的数据采集、清洗、入库应遵循公司制度和相关法律法规。8. 总结与下一步学习路线本文围绕 Python 零基础入门、数据分析、网络爬虫这三条主线梳理了一条完整的学习路径。你实际上手后应该掌握这些内容完成 Python 开发环境搭建能选择适合自己的 IDE。熟悉变量、数据类型、条件判断、循环、函数等核心语法。能够使用 pandas 完成 CSV 数据读取、清洗、分组聚合和简单可视化。能够使用 requests 和 BeautifulSoup 完成静态网页的数据抓取与保存。知道遇到中文乱码、请求失败、解析为空时如何排查。接下来可以继续深入的方向有很多。如果对数据分析感兴趣建议学习 NumPy 的数组运算、pandas 的时间序列处理、seaborn 的高级可视化以及 SQL 数据库查询。如果对爬虫感兴趣可以学习 scrapy 框架、动态页面数据接口分析、常见反爬策略的应对思路但要始终注意合规边界。学习编程不能只看不练。建议你从今天这篇文章的示例代码开始先自己动手在本地跑一遍然后尝试改一改数据结构、换一个目标页面哪怕只是调整一个小功能也能带来真实的经验积累。等到能独立写出一套“爬虫抓取 → 数据清洗 → 可视化输出”的小项目你对 Python 的基础掌握就已经比较稳了。如果你觉得本文对你有帮助可以收藏备用也欢迎在动手过程中遇到问题时回来查阅排查思路。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
