在实际的数据分析工作中很多人会陷入一个误区认为只要学会了Python、Pandas、Matplotlib等工具就能立刻上手解决业务问题。然而从拿到原始数据到产出有价值的分析结论中间横亘着一条由数据清洗、探索性分析、挖掘建模和可视化构成的完整链路。这条链路上的每个环节都充满细节和陷阱例如数据格式不一致、异常值处理不当、模型选择错误、图表误导解读等。本文旨在为希望系统掌握数据分析全流程的开发者提供一个从零到项目实战的完整指南。我们将围绕一个具体的“苏州天气数据分析”项目手把手带你走过数据采集、清洗、探索、挖掘和可视化的每一个步骤并解释每一步背后的“为什么”而不仅仅是“怎么做”。通过这个项目你将能理解数据分析的核心工作流并具备将这套方法迁移到其他业务场景如销售、用户行为、运营数据等的能力。1. 理解数据分析的核心工作流与项目目标在开始写代码之前必须明确数据分析不是单一技能而是一个环环相扣的工程流程。一个典型的数据分析项目遵循“CRISP-DM”跨行业数据挖掘标准流程或类似的迭代流程其核心阶段包括业务理解、数据理解、数据准备、建模、评估和部署。对于入门级实战我们可以聚焦于技术实现最密集的三个环节数据准备采集与清洗、建模分析探索与挖掘和结果呈现可视化。1.1 项目案例苏州天气数据分析我们选择一个贴近生活、数据源相对稳定的主题分析苏州最近一周的天气变化。这个项目的最终目标是生成一份名为“苏州天气分析.xlsx”的报告其中包含处理后的干净数据、关键指标统计、趋势图表以及简单的洞察结论。通过这个案例你将掌握数据采集使用requests库从公开API或网页获取原始数据。数据清洗与处理使用pandas处理缺失值、异常值转换数据类型并计算衍生指标如体感温度、温差。数据探索与分析计算基本统计量平均温度、最高/最低温分析天气现象分布。数据可视化使用matplotlib或seaborn绘制折线图、柱状图直观展示温度趋势和天气分布。报告输出使用openpyxl或pandas的ExcelWriter将数据和分析图表整合到Excel文件中。1.2 环境与工具准备工欲善其事必先利其器。以下是完成本项目所需的核心Python库及其作用。建议使用conda或pip在一个新的虚拟环境中安装以避免包版本冲突。库名用途安装命令piprequests发送HTTP请求获取天气数据pip install requestspandas数据处理与分析的核心库提供DataFrame数据结构pip install pandasopenpyxl读写Excel文件.xlsx格式支持图表写入pip install openpyxlmatplotlib基础绘图库用于创建静态、交互式可视化图表pip install matplotlibseaborn基于matplotlib的统计图表库样式更美观pip install seaborn注意seaborn不是必须的但它能极大简化美观图表的创建过程。openpyxl是pandas写入Excel文件时的默认引擎之一务必安装。你可以通过以下命令一次性安装并验证# 创建并进入虚拟环境可选但推荐 # conda create -n weather_analysis python3.9 # conda activate weather_analysis # 安装核心库 pip install requests pandas openpyxl matplotlib seaborn # 验证安装 python -c import requests, pandas, openpyxl, matplotlib, seaborn; print(All packages imported successfully.)2. 数据采集从网络获取原始天气数据数据采集是分析的起点。对于天气数据我们可以寻找提供免费API的气象网站。为了模拟真实项目我们将演示两种常见方式调用公开API和解析网页HTML作为备选方案。重要提示在实际项目中务必遵守目标网站的服务条款和robots.txt协议并设置合理的请求间隔避免对服务器造成压力。2.1 方案一使用公开API获取结构化数据推荐许多气象服务提供API。这里我们以一个假设的、返回JSON格式数据的API端点为例。实际使用时你需要替换为真实可用的API URL和参数可能需要申请API Key。import requests import pandas as pd from datetime import datetime, timedelta def fetch_weather_data_from_api(api_url, params): 从API获取天气数据。 Args: api_url (str): API端点地址。 params (dict): 请求参数如城市、时间、API密钥等。 Returns: dict: API返回的JSON数据。 try: # 设置请求头模拟浏览器访问 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(api_url, paramsparams, headersheaders, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 print(fAPI请求成功状态码{response.status_code}) return response.json() except requests.exceptions.RequestException as e: print(f请求API时发生错误{e}) return None # 示例假设的API调用参数需替换为真实信息 # 实际项目中你需要注册相关服务并获取有效的api_key example_api_url https://api.weather.example.com/v3/weather/daily example_params { location: suzhou, key: your_api_key_here, # 你的API密钥 start_date: (datetime.now() - timedelta(days6)).strftime(%Y-%m-%d), # 7天前 end_date: datetime.now().strftime(%Y-%m-%d), unit: c # 摄氏度 } # 调用函数此处注释掉因为URL和Key是示例 # raw_data fetch_weather_data_from_api(example_api_url, example_params) # if raw_data: # print(raw_data) # 查看原始JSON结构2.2 方案二网页爬虫作为备选了解原理如果找不到合适的API可能需要解析网页。这需要分析网页结构使用BeautifulSoup等库。此方法更脆弱因为网页结构一旦变化代码就需要调整。# 备选方案网页爬虫示例框架 import requests from bs4 import BeautifulSoup def fetch_weather_from_web(url): 从网页抓取天气数据示例框架不可直接运行。 try: headers {User-Agent: Mozilla/5.0} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 此处需要根据实际网页结构编写解析代码 # 例如找到包含天气数据的表格或特定CSS选择器的元素 # data_elements soup.select(div.weather-data-class) # ... 解析逻辑 ... print(网页数据获取成功示例) # 返回一个用于演示的假数据列表 return [{date: 2023-10-26, high_temp: 22, low_temp: 15, weather: 晴}] except Exception as e: print(f网页抓取失败{e}) return None # 由于网站结构未知此代码仅为框架展示2.3 创建模拟数据用于后续演练鉴于API密钥和具体网站的限制为了确保教程的连贯性和可复现性我们将直接创建一份模拟的苏州一周天气数据用于后续所有清洗、分析和可视化步骤。import pandas as pd import numpy as np from datetime import datetime, timedelta # 生成过去7天的日期 base_date datetime.now().date() dates [(base_date - timedelta(daysi)).strftime(%Y-%m-%d) for i in range(6, -1, -1)] # 从7天前到今天 # 创建模拟数据包含一些真实场景中常见的问题缺失值、异常值、格式不一致 np.random.seed(42) # 固定随机种子确保每次运行数据一致 data { date: dates, high_temp: [22, 24, np.nan, 19, 18, 21, 23], # 第三天数据缺失 low_temp: [15, 16, 14, 12, 11, 13, 15], weather: [晴, 多云, 小雨, 阴, 晴, 多云, 大雨], wind_direction: [东风, 东南风, 北风, 西北风, None, 东风, 西南风], # 第五天风向缺失 wind_force: [3-4级, 4-5级, 2-3级, 3-4级, 1-2级, 2级, 5-6级], aqi: [45, 78, 102, 65, 88, 92, 150] # 空气质量指数最后一天异常高 } # 转换为pandas DataFrame df_raw pd.DataFrame(data) print( 原始模拟数据 ) print(df_raw) print(f\n数据形状{df_raw.shape}) print(f\n数据类型\n{df_raw.dtypes})运行以上代码你将得到一个包含7行、7列的DataFrame。这就是我们数据分析的“原材料”它已经包含了一些典型的数据质量问题。3. 数据清洗与预处理将原始数据变为可用数据数据清洗通常占据数据分析80%的时间。本阶段的目标是发现并处理数据中的错误、不一致和缺失为后续分析提供高质量的数据集。3.1 数据概览与问题诊断在动手清洗前先全面了解数据的基本情况。# 1. 查看基本信息 print( 数据基本信息 ) print(df_raw.info()) # 2. 查看头尾几行 print(\n 前3行数据 ) print(df_raw.head(3)) print(\n 后3行数据 ) print(df_raw.tail(3)) # 3. 检查缺失值 print(\n 各列缺失值数量 ) print(df_raw.isnull().sum()) # 4. 检查数值列的统计描述识别异常值 print(\n 数值列统计描述 ) print(df_raw[[high_temp, low_temp, aqi]].describe()) # 5. 检查分类列的唯一直 print(\n 分类列唯一值 ) print(f天气类型{df_raw[weather].unique()}) print(f风向{df_raw[wind_direction].unique()})通过以上诊断我们可以明确待解决的问题high_temp列有一个缺失值NaN。wind_direction列有一个缺失值None在pandas中可能显示为NaN。aqi列的最大值为150根据常识AQI150为中度污染需要确认是否为异常值或合理的高污染日。数据格式date列是字符串最好转换为日期时间类型。3.2 执行清洗操作针对诊断出的问题逐一进行清洗。# 创建数据副本避免修改原始数据 df_clean df_raw.copy() # 1. 处理日期格式 df_clean[date] pd.to_datetime(df_clean[date]) print(日期列已转换。) # 2. 处理缺失值 # 策略温度用前后两天的平均值填充风向用众数出现次数最多的值填充 df_clean[high_temp] df_clean[high_temp].interpolate(methodlinear) # 线性插值 # 计算风向的众数忽略NaN wind_mode df_clean[wind_direction].mode()[0] df_clean[wind_direction].fillna(wind_mode, inplaceTrue) print(f缺失值已处理。风向众数为{wind_mode}) # 3. 处理异常值以AQI为例 # 方法使用IQR四分位距法识别异常值并进行盖帽处理Capping Q1 df_clean[aqi].quantile(0.25) Q3 df_clean[aqi].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR print(fAQI的IQR范围[{lower_bound:.2f}, {upper_bound:.2f}]) # 将超出上限的值替换为上限值 df_clean[aqi] np.where(df_clean[aqi] upper_bound, upper_bound, df_clean[aqi]) print(AQI异常值已进行盖帽处理。) # 4. 数据一致性处理 # 例如确保天气描述统一本例中已统一 # 例如将风力中的“级”字统一去除只保留数字如果需要计算 # df_clean[wind_force_num] df_clean[wind_force].str.extract((\d)).astype(float) # 5. 创建衍生特征 # 计算每日温差 df_clean[temp_range] df_clean[high_temp] - df_clean[low_temp] # 根据AQI判断空气质量等级 def categorize_aqi(aqi): if aqi 50: return 优 elif aqi 100: return 良 elif aqi 150: return 轻度污染 else: return 中度污染及以上 df_clean[aqi_level] df_clean[aqi].apply(categorize_aqi) print(\n 清洗后的数据 ) print(df_clean) print(f\n清洗后缺失值检查\n{df_clean.isnull().sum()})3.3 清洗后数据验证清洗完成后务必再次检查数据质量。# 验证清洗结果 print( 清洗结果验证 ) print(f数据形状是否变化{df_raw.shape} - {df_clean.shape}) print(f日期列类型{df_clean[date].dtype}) print(f高温缺失值{df_clean[high_temp].isnull().sum()}) print(f风向缺失值{df_clean[wind_direction].isnull().sum()}) print(fAQI最大值处理后{df_clean[aqi].max()}) print(f新增列温差和AQI等级已添加。)至此我们获得了一个干净、规整的DataFrame(df_clean)可以放心地进行后续分析。4. 探索性数据分析与数据挖掘数据清洗后我们进入分析阶段。首先是探索性数据分析EDA目的是通过统计和可视化了解数据的基本特征、分布和关系。之后可以进行简单的数据挖掘如发现模式或趋势。4.1 基础统计分析计算核心指标对数据有一个整体的把握。# 对清洗后的数据进行描述性统计 print( 核心指标统计 ) stats df_clean.describe() print(stats) # 计算一些业务相关的聚合指标 print(\n 业务指标分析 ) print(f一周平均最高温{df_clean[high_temp].mean():.1f}°C) print(f一周平均最低温{df_clean[low_temp].mean():.1f}°C) print(f最高温日{df_clean.loc[df_clean[high_temp].idxmax(), date].date()}温度{df_clean[high_temp].max():.1f}°C) print(f最低温日{df_clean.loc[df_clean[low_temp].idxmin(), date].date()}温度{df_clean[low_temp].min():.1f}°C) print(f平均温差{df_clean[temp_range].mean():.1f}°C) print(f出现最多的天气{df_clean[weather].mode()[0]}) print(f空气质量分布\n{df_clean[aqi_level].value_counts()})4.2 数据可视化探索图表能直观揭示数据中隐藏的信息。我们使用matplotlib和seaborn进行绘制。import matplotlib.pyplot as plt import seaborn as sns # 设置中文字体和图表样式解决中文显示问题 plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 sns.set_style(whitegrid) # 创建画布和子图 fig, axes plt.subplots(2, 2, figsize(14, 10)) fig.suptitle(苏州一周天气数据探索, fontsize16) # 子图1温度趋势折线图 ax1 axes[0, 0] ax1.plot(df_clean[date], df_clean[high_temp], markero, label最高温, colortomato, linewidth2) ax1.plot(df_clean[date], df_clean[low_temp], markers, label最低温, colorskyblue, linewidth2) ax1.fill_between(df_clean[date], df_clean[high_temp], df_clean[low_temp], colorlightgray, alpha0.3) ax1.set_xlabel(日期) ax1.set_ylabel(温度 (°C)) ax1.set_title(每日温度变化趋势) ax1.legend() ax1.grid(True, linestyle--, alpha0.7) # 旋转x轴日期标签 plt.setp(ax1.get_xticklabels(), rotation45) # 子图2天气现象分布柱状图 ax2 axes[0, 1] weather_counts df_clean[weather].value_counts() ax2.bar(weather_counts.index, weather_counts.values, colorsns.color_palette(husl, len(weather_counts))) ax2.set_xlabel(天气类型) ax2.set_ylabel(出现天数) ax2.set_title(天气类型分布) # 在柱子上方添加数量标签 for i, v in enumerate(weather_counts.values): ax2.text(i, v 0.1, str(v), hacenter) # 子图3AQI级别分布饼图 ax3 axes[1, 0] aqi_level_counts df_clean[aqi_level].value_counts() colors [lightgreen, gold, orange, lightcoral] wedges, texts, autotexts ax3.pie(aqi_level_counts.values, labelsaqi_level_counts.index, autopct%1.1f%%, colorscolors, startangle90) ax3.set_title(空气质量级别分布) # 设置饼图标签样式 for autotext in autotexts: autotext.set_color(white) autotext.set_fontweight(bold) # 子图4温差与最高温的散点图探索关系 ax4 axes[1, 1] scatter ax4.scatter(df_clean[high_temp], df_clean[temp_range], cdf_clean[aqi], cmapviridis, s100, alpha0.6) ax4.set_xlabel(最高温 (°C)) ax4.set_ylabel(温差 (°C)) ax4.set_title(最高温与温差关系颜色代表AQI) # 添加颜色条 cbar plt.colorbar(scatter, axax4) cbar.set_label(AQI指数) plt.tight_layout(rect[0, 0, 1, 0.96]) # 调整布局给总标题留空间 plt.show()运行这段代码你将得到一张包含四个子图的综合仪表板从不同维度展示了数据特征。通过观察图表我们可以得出一些初步洞察例如温度是否呈现某种趋势晴天和多云哪种更常见空气质量与温度是否有相关性4.3 简单数据挖掘相关性分析我们可以计算数值变量之间的相关系数量化它们之间的线性关系。# 选择数值列进行相关性分析 numeric_cols [high_temp, low_temp, aqi, temp_range] corr_matrix df_clean[numeric_cols].corr() print( 数值特征相关系数矩阵 ) print(corr_matrix) # 绘制相关性热图 plt.figure(figsize(8, 6)) sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm, center0, squareTrue, fmt.2f, linewidths1, cbar_kws{shrink: .8}) plt.title(特征间相关性热图) plt.show()从相关系数矩阵和热图中你可能会发现“最高温”和“最低温”高度正相关符合常识而“AQI”与温度的相关性可能较弱或为负这为后续深入分析提供了方向。5. 生成Excel分析报告数据分析的最终产出往往是报告。我们将清洗后的数据、关键统计结果和生成的图表整合到一个Excel文件中。5.1 将数据与图表写入Excel使用pandas的ExcelWriter配合openpyxl引擎可以灵活地将多个DataFrame和图表写入同一个Excel文件的不同工作表。# 准备要写入Excel的数据 # 1. 清洗后的详细数据 df_to_excel df_clean.copy() # 将日期列转换回字符串格式便于在Excel中阅读 df_to_excel[date] df_to_excel[date].dt.strftime(%Y-%m-%d) # 2. 关键统计摘要创建一个新的DataFrame summary_data { 指标: [平均最高温, 平均最低温, 最大温差, 最小温差, 最常见天气, 优质空气天数], 数值: [ f{df_clean[high_temp].mean():.1f} °C, f{df_clean[low_temp].mean():.1f} °C, f{df_clean[temp_range].max():.1f} °C, f{df_clean[temp_range].min():.1f} °C, df_clean[weather].mode()[0], f{sum(df_clean[aqi_level] 优)} 天 ] } df_summary pd.DataFrame(summary_data) # 3. 写入Excel文件 output_file_path 苏州天气分析.xlsx with pd.ExcelWriter(output_file_path, engineopenpyxl) as writer: # 写入详细数据到“原始数据”工作表 df_to_excel.to_excel(writer, sheet_name详细数据, indexFalse) # 写入统计摘要到“分析摘要”工作表 df_summary.to_excel(writer, sheet_name分析摘要, indexFalse) # 获取workbook和worksheet对象用于插入图表 workbook writer.book # 创建一个新的工作表来放置图表 chart_sheet workbook.create_sheet(title分析图表) # 将之前生成的 matplotlib 图表保存为图片然后插入Excel # 注意需要重新生成一次图表并保存 fig, axes plt.subplots(2, 2, figsize(12, 9)) # ... (此处应重复第4.2节中绘制四个子图的代码篇幅原因省略) ... # 假设图表已绘制在fig对象中 chart_img_path temp_chart.png fig.savefig(chart_img_path, dpi150, bbox_inchestight) plt.close(fig) # 将图片插入Excel的‘分析图表’工作表 from openpyxl.drawing.image import Image img Image(chart_img_path) chart_sheet.add_image(img, A1) # 调整列宽可选 for sheet in writer.sheets: worksheet writer.sheets[sheet] for column in worksheet.columns: max_length 0 column_letter column[0].column_letter for cell in column: try: if len(str(cell.value)) max_length: max_length len(str(cell.value)) except: pass adjusted_width min(max_length 2, 50) # 设置最大宽度 worksheet.column_dimensions[column_letter].width adjusted_width print(f分析报告已成功生成{output_file_path})5.2 报告内容验证生成文件后手动打开苏州天气分析.xlsx检查三个工作表详细数据包含所有清洗和计算后的字段。分析摘要以表格形式呈现核心指标。分析图表包含了之前生成的四合一可视化图表。6. 项目复盘、常见问题与最佳实践完成一个完整的数据分析流程后进行复盘和总结至关重要。以下是基于本项目提炼出的关键点、常见陷阱及应对策略。6.1 典型问题排查清单在实际操作中你可能会遇到以下问题问题现象可能原因检查与解决思路requests获取数据失败返回403/4041. API地址或参数错误。2. 网站有反爬机制如需要Headers、Cookies。3. IP请求频率过高被限制。1. 核对API文档检查参数格式。2. 添加User-Agent等请求头模拟浏览器。3. 添加延时time.sleep使用代理IP池高级。pandas读取或处理数据时出现KeyError列名拼写错误或数据中不存在该列。使用df.columns打印所有列名仔细核对。图表中文显示为方框matplotlib 默认字体不包含中文。在绘图前设置中文字体如plt.rcParams[font.sans-serif] [SimHei]。写入Excel后图表不显示或变形1. 图片路径错误。2.openpyxl版本兼容性问题。3. 单元格位置不够大。1. 确认图片保存成功且路径正确。2. 确保openpyxl为较新版本。3. 调整插入图片的起始单元格或图片尺寸。数据清洗后分析结果不符合预期1. 缺失值处理方式不当如误删关键数据。2. 异常值处理过度或不足。3. 数据类型转换错误。1. 对比清洗前后数据分布describe()。2. 可视化查看异常值处理前后的对比。3. 使用df.dtypes确认每列数据类型。6.2 数据分析最佳实践保持数据管道可复现将数据采集、清洗、分析的代码封装成函数或类并使用版本控制如Git管理。关键步骤如删除行、填充缺失值添加注释说明原因。分离配置与逻辑将API密钥、文件路径、数据库连接字符串等配置信息提取到配置文件如config.ini、config.yaml或环境变量中不要硬编码在脚本里。重视数据质量验证在清洗前后关键节点使用断言或条件检查验证数据的基本假设例如assert df[temperature].min() -50, “温度数据异常”。可视化服务于洞察不要为了画图而画图。每个图表都应有明确的目的是为了回答某个业务问题。图表标题和标签要清晰准确。生产环境考量容错网络请求、文件读写要使用try-except进行异常捕获和日志记录。性能处理大规模数据时考虑使用pandas的向量化操作避免低效的循环。必要时使用Dask或PySpark。调度定期运行的分析任务可以使用cron(Linux) 或Task Scheduler(Windows) 或Airflow、Celery等工具进行自动化调度。交付除了Excel考虑自动化生成PDF报告、更新数据库看板或通过邮件发送分析结果。6.3 项目扩展方向掌握了基础流程后你可以尝试以下方向深化技能数据源扩展接入更真实的API如和风天气、心知天气或从数据库、日志文件中获取数据。分析深度扩展引入时间序列分析预测未来温度趋势使用聚类算法对天气模式进行分组。可视化进阶使用Plotly、Pyecharts制作交互式图表和大屏仪表板。工程化扩展将整个流程包装成一个Python包通过命令行参数指定城市、分析天数或构建一个简单的Web应用使用Flask/Streamlit让用户上传数据并在线查看分析报告。结合业务场景将这套方法应用于电商销售数据分析、用户行为分析、系统监控指标分析等实际业务场景这是数据分析师价值的核心体现。通过这个从数据采集到报告生成的完整项目你不仅学会了工具的使用更重要的是理解了数据分析每一步的意图和背后的思考逻辑。接下来你可以寻找自己感兴趣领域的数据用这套方法论去探索和发现属于你的数据洞察。
Python数据分析全流程实战：从数据采集到可视化报告生成
在实际的数据分析工作中很多人会陷入一个误区认为只要学会了Python、Pandas、Matplotlib等工具就能立刻上手解决业务问题。然而从拿到原始数据到产出有价值的分析结论中间横亘着一条由数据清洗、探索性分析、挖掘建模和可视化构成的完整链路。这条链路上的每个环节都充满细节和陷阱例如数据格式不一致、异常值处理不当、模型选择错误、图表误导解读等。本文旨在为希望系统掌握数据分析全流程的开发者提供一个从零到项目实战的完整指南。我们将围绕一个具体的“苏州天气数据分析”项目手把手带你走过数据采集、清洗、探索、挖掘和可视化的每一个步骤并解释每一步背后的“为什么”而不仅仅是“怎么做”。通过这个项目你将能理解数据分析的核心工作流并具备将这套方法迁移到其他业务场景如销售、用户行为、运营数据等的能力。1. 理解数据分析的核心工作流与项目目标在开始写代码之前必须明确数据分析不是单一技能而是一个环环相扣的工程流程。一个典型的数据分析项目遵循“CRISP-DM”跨行业数据挖掘标准流程或类似的迭代流程其核心阶段包括业务理解、数据理解、数据准备、建模、评估和部署。对于入门级实战我们可以聚焦于技术实现最密集的三个环节数据准备采集与清洗、建模分析探索与挖掘和结果呈现可视化。1.1 项目案例苏州天气数据分析我们选择一个贴近生活、数据源相对稳定的主题分析苏州最近一周的天气变化。这个项目的最终目标是生成一份名为“苏州天气分析.xlsx”的报告其中包含处理后的干净数据、关键指标统计、趋势图表以及简单的洞察结论。通过这个案例你将掌握数据采集使用requests库从公开API或网页获取原始数据。数据清洗与处理使用pandas处理缺失值、异常值转换数据类型并计算衍生指标如体感温度、温差。数据探索与分析计算基本统计量平均温度、最高/最低温分析天气现象分布。数据可视化使用matplotlib或seaborn绘制折线图、柱状图直观展示温度趋势和天气分布。报告输出使用openpyxl或pandas的ExcelWriter将数据和分析图表整合到Excel文件中。1.2 环境与工具准备工欲善其事必先利其器。以下是完成本项目所需的核心Python库及其作用。建议使用conda或pip在一个新的虚拟环境中安装以避免包版本冲突。库名用途安装命令piprequests发送HTTP请求获取天气数据pip install requestspandas数据处理与分析的核心库提供DataFrame数据结构pip install pandasopenpyxl读写Excel文件.xlsx格式支持图表写入pip install openpyxlmatplotlib基础绘图库用于创建静态、交互式可视化图表pip install matplotlibseaborn基于matplotlib的统计图表库样式更美观pip install seaborn注意seaborn不是必须的但它能极大简化美观图表的创建过程。openpyxl是pandas写入Excel文件时的默认引擎之一务必安装。你可以通过以下命令一次性安装并验证# 创建并进入虚拟环境可选但推荐 # conda create -n weather_analysis python3.9 # conda activate weather_analysis # 安装核心库 pip install requests pandas openpyxl matplotlib seaborn # 验证安装 python -c import requests, pandas, openpyxl, matplotlib, seaborn; print(All packages imported successfully.)2. 数据采集从网络获取原始天气数据数据采集是分析的起点。对于天气数据我们可以寻找提供免费API的气象网站。为了模拟真实项目我们将演示两种常见方式调用公开API和解析网页HTML作为备选方案。重要提示在实际项目中务必遵守目标网站的服务条款和robots.txt协议并设置合理的请求间隔避免对服务器造成压力。2.1 方案一使用公开API获取结构化数据推荐许多气象服务提供API。这里我们以一个假设的、返回JSON格式数据的API端点为例。实际使用时你需要替换为真实可用的API URL和参数可能需要申请API Key。import requests import pandas as pd from datetime import datetime, timedelta def fetch_weather_data_from_api(api_url, params): 从API获取天气数据。 Args: api_url (str): API端点地址。 params (dict): 请求参数如城市、时间、API密钥等。 Returns: dict: API返回的JSON数据。 try: # 设置请求头模拟浏览器访问 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 } response requests.get(api_url, paramsparams, headersheaders, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 print(fAPI请求成功状态码{response.status_code}) return response.json() except requests.exceptions.RequestException as e: print(f请求API时发生错误{e}) return None # 示例假设的API调用参数需替换为真实信息 # 实际项目中你需要注册相关服务并获取有效的api_key example_api_url https://api.weather.example.com/v3/weather/daily example_params { location: suzhou, key: your_api_key_here, # 你的API密钥 start_date: (datetime.now() - timedelta(days6)).strftime(%Y-%m-%d), # 7天前 end_date: datetime.now().strftime(%Y-%m-%d), unit: c # 摄氏度 } # 调用函数此处注释掉因为URL和Key是示例 # raw_data fetch_weather_data_from_api(example_api_url, example_params) # if raw_data: # print(raw_data) # 查看原始JSON结构2.2 方案二网页爬虫作为备选了解原理如果找不到合适的API可能需要解析网页。这需要分析网页结构使用BeautifulSoup等库。此方法更脆弱因为网页结构一旦变化代码就需要调整。# 备选方案网页爬虫示例框架 import requests from bs4 import BeautifulSoup def fetch_weather_from_web(url): 从网页抓取天气数据示例框架不可直接运行。 try: headers {User-Agent: Mozilla/5.0} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.text, html.parser) # 此处需要根据实际网页结构编写解析代码 # 例如找到包含天气数据的表格或特定CSS选择器的元素 # data_elements soup.select(div.weather-data-class) # ... 解析逻辑 ... print(网页数据获取成功示例) # 返回一个用于演示的假数据列表 return [{date: 2023-10-26, high_temp: 22, low_temp: 15, weather: 晴}] except Exception as e: print(f网页抓取失败{e}) return None # 由于网站结构未知此代码仅为框架展示2.3 创建模拟数据用于后续演练鉴于API密钥和具体网站的限制为了确保教程的连贯性和可复现性我们将直接创建一份模拟的苏州一周天气数据用于后续所有清洗、分析和可视化步骤。import pandas as pd import numpy as np from datetime import datetime, timedelta # 生成过去7天的日期 base_date datetime.now().date() dates [(base_date - timedelta(daysi)).strftime(%Y-%m-%d) for i in range(6, -1, -1)] # 从7天前到今天 # 创建模拟数据包含一些真实场景中常见的问题缺失值、异常值、格式不一致 np.random.seed(42) # 固定随机种子确保每次运行数据一致 data { date: dates, high_temp: [22, 24, np.nan, 19, 18, 21, 23], # 第三天数据缺失 low_temp: [15, 16, 14, 12, 11, 13, 15], weather: [晴, 多云, 小雨, 阴, 晴, 多云, 大雨], wind_direction: [东风, 东南风, 北风, 西北风, None, 东风, 西南风], # 第五天风向缺失 wind_force: [3-4级, 4-5级, 2-3级, 3-4级, 1-2级, 2级, 5-6级], aqi: [45, 78, 102, 65, 88, 92, 150] # 空气质量指数最后一天异常高 } # 转换为pandas DataFrame df_raw pd.DataFrame(data) print( 原始模拟数据 ) print(df_raw) print(f\n数据形状{df_raw.shape}) print(f\n数据类型\n{df_raw.dtypes})运行以上代码你将得到一个包含7行、7列的DataFrame。这就是我们数据分析的“原材料”它已经包含了一些典型的数据质量问题。3. 数据清洗与预处理将原始数据变为可用数据数据清洗通常占据数据分析80%的时间。本阶段的目标是发现并处理数据中的错误、不一致和缺失为后续分析提供高质量的数据集。3.1 数据概览与问题诊断在动手清洗前先全面了解数据的基本情况。# 1. 查看基本信息 print( 数据基本信息 ) print(df_raw.info()) # 2. 查看头尾几行 print(\n 前3行数据 ) print(df_raw.head(3)) print(\n 后3行数据 ) print(df_raw.tail(3)) # 3. 检查缺失值 print(\n 各列缺失值数量 ) print(df_raw.isnull().sum()) # 4. 检查数值列的统计描述识别异常值 print(\n 数值列统计描述 ) print(df_raw[[high_temp, low_temp, aqi]].describe()) # 5. 检查分类列的唯一直 print(\n 分类列唯一值 ) print(f天气类型{df_raw[weather].unique()}) print(f风向{df_raw[wind_direction].unique()})通过以上诊断我们可以明确待解决的问题high_temp列有一个缺失值NaN。wind_direction列有一个缺失值None在pandas中可能显示为NaN。aqi列的最大值为150根据常识AQI150为中度污染需要确认是否为异常值或合理的高污染日。数据格式date列是字符串最好转换为日期时间类型。3.2 执行清洗操作针对诊断出的问题逐一进行清洗。# 创建数据副本避免修改原始数据 df_clean df_raw.copy() # 1. 处理日期格式 df_clean[date] pd.to_datetime(df_clean[date]) print(日期列已转换。) # 2. 处理缺失值 # 策略温度用前后两天的平均值填充风向用众数出现次数最多的值填充 df_clean[high_temp] df_clean[high_temp].interpolate(methodlinear) # 线性插值 # 计算风向的众数忽略NaN wind_mode df_clean[wind_direction].mode()[0] df_clean[wind_direction].fillna(wind_mode, inplaceTrue) print(f缺失值已处理。风向众数为{wind_mode}) # 3. 处理异常值以AQI为例 # 方法使用IQR四分位距法识别异常值并进行盖帽处理Capping Q1 df_clean[aqi].quantile(0.25) Q3 df_clean[aqi].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR print(fAQI的IQR范围[{lower_bound:.2f}, {upper_bound:.2f}]) # 将超出上限的值替换为上限值 df_clean[aqi] np.where(df_clean[aqi] upper_bound, upper_bound, df_clean[aqi]) print(AQI异常值已进行盖帽处理。) # 4. 数据一致性处理 # 例如确保天气描述统一本例中已统一 # 例如将风力中的“级”字统一去除只保留数字如果需要计算 # df_clean[wind_force_num] df_clean[wind_force].str.extract((\d)).astype(float) # 5. 创建衍生特征 # 计算每日温差 df_clean[temp_range] df_clean[high_temp] - df_clean[low_temp] # 根据AQI判断空气质量等级 def categorize_aqi(aqi): if aqi 50: return 优 elif aqi 100: return 良 elif aqi 150: return 轻度污染 else: return 中度污染及以上 df_clean[aqi_level] df_clean[aqi].apply(categorize_aqi) print(\n 清洗后的数据 ) print(df_clean) print(f\n清洗后缺失值检查\n{df_clean.isnull().sum()})3.3 清洗后数据验证清洗完成后务必再次检查数据质量。# 验证清洗结果 print( 清洗结果验证 ) print(f数据形状是否变化{df_raw.shape} - {df_clean.shape}) print(f日期列类型{df_clean[date].dtype}) print(f高温缺失值{df_clean[high_temp].isnull().sum()}) print(f风向缺失值{df_clean[wind_direction].isnull().sum()}) print(fAQI最大值处理后{df_clean[aqi].max()}) print(f新增列温差和AQI等级已添加。)至此我们获得了一个干净、规整的DataFrame(df_clean)可以放心地进行后续分析。4. 探索性数据分析与数据挖掘数据清洗后我们进入分析阶段。首先是探索性数据分析EDA目的是通过统计和可视化了解数据的基本特征、分布和关系。之后可以进行简单的数据挖掘如发现模式或趋势。4.1 基础统计分析计算核心指标对数据有一个整体的把握。# 对清洗后的数据进行描述性统计 print( 核心指标统计 ) stats df_clean.describe() print(stats) # 计算一些业务相关的聚合指标 print(\n 业务指标分析 ) print(f一周平均最高温{df_clean[high_temp].mean():.1f}°C) print(f一周平均最低温{df_clean[low_temp].mean():.1f}°C) print(f最高温日{df_clean.loc[df_clean[high_temp].idxmax(), date].date()}温度{df_clean[high_temp].max():.1f}°C) print(f最低温日{df_clean.loc[df_clean[low_temp].idxmin(), date].date()}温度{df_clean[low_temp].min():.1f}°C) print(f平均温差{df_clean[temp_range].mean():.1f}°C) print(f出现最多的天气{df_clean[weather].mode()[0]}) print(f空气质量分布\n{df_clean[aqi_level].value_counts()})4.2 数据可视化探索图表能直观揭示数据中隐藏的信息。我们使用matplotlib和seaborn进行绘制。import matplotlib.pyplot as plt import seaborn as sns # 设置中文字体和图表样式解决中文显示问题 plt.rcParams[font.sans-serif] [SimHei, DejaVu Sans] # 用来正常显示中文标签 plt.rcParams[axes.unicode_minus] False # 用来正常显示负号 sns.set_style(whitegrid) # 创建画布和子图 fig, axes plt.subplots(2, 2, figsize(14, 10)) fig.suptitle(苏州一周天气数据探索, fontsize16) # 子图1温度趋势折线图 ax1 axes[0, 0] ax1.plot(df_clean[date], df_clean[high_temp], markero, label最高温, colortomato, linewidth2) ax1.plot(df_clean[date], df_clean[low_temp], markers, label最低温, colorskyblue, linewidth2) ax1.fill_between(df_clean[date], df_clean[high_temp], df_clean[low_temp], colorlightgray, alpha0.3) ax1.set_xlabel(日期) ax1.set_ylabel(温度 (°C)) ax1.set_title(每日温度变化趋势) ax1.legend() ax1.grid(True, linestyle--, alpha0.7) # 旋转x轴日期标签 plt.setp(ax1.get_xticklabels(), rotation45) # 子图2天气现象分布柱状图 ax2 axes[0, 1] weather_counts df_clean[weather].value_counts() ax2.bar(weather_counts.index, weather_counts.values, colorsns.color_palette(husl, len(weather_counts))) ax2.set_xlabel(天气类型) ax2.set_ylabel(出现天数) ax2.set_title(天气类型分布) # 在柱子上方添加数量标签 for i, v in enumerate(weather_counts.values): ax2.text(i, v 0.1, str(v), hacenter) # 子图3AQI级别分布饼图 ax3 axes[1, 0] aqi_level_counts df_clean[aqi_level].value_counts() colors [lightgreen, gold, orange, lightcoral] wedges, texts, autotexts ax3.pie(aqi_level_counts.values, labelsaqi_level_counts.index, autopct%1.1f%%, colorscolors, startangle90) ax3.set_title(空气质量级别分布) # 设置饼图标签样式 for autotext in autotexts: autotext.set_color(white) autotext.set_fontweight(bold) # 子图4温差与最高温的散点图探索关系 ax4 axes[1, 1] scatter ax4.scatter(df_clean[high_temp], df_clean[temp_range], cdf_clean[aqi], cmapviridis, s100, alpha0.6) ax4.set_xlabel(最高温 (°C)) ax4.set_ylabel(温差 (°C)) ax4.set_title(最高温与温差关系颜色代表AQI) # 添加颜色条 cbar plt.colorbar(scatter, axax4) cbar.set_label(AQI指数) plt.tight_layout(rect[0, 0, 1, 0.96]) # 调整布局给总标题留空间 plt.show()运行这段代码你将得到一张包含四个子图的综合仪表板从不同维度展示了数据特征。通过观察图表我们可以得出一些初步洞察例如温度是否呈现某种趋势晴天和多云哪种更常见空气质量与温度是否有相关性4.3 简单数据挖掘相关性分析我们可以计算数值变量之间的相关系数量化它们之间的线性关系。# 选择数值列进行相关性分析 numeric_cols [high_temp, low_temp, aqi, temp_range] corr_matrix df_clean[numeric_cols].corr() print( 数值特征相关系数矩阵 ) print(corr_matrix) # 绘制相关性热图 plt.figure(figsize(8, 6)) sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm, center0, squareTrue, fmt.2f, linewidths1, cbar_kws{shrink: .8}) plt.title(特征间相关性热图) plt.show()从相关系数矩阵和热图中你可能会发现“最高温”和“最低温”高度正相关符合常识而“AQI”与温度的相关性可能较弱或为负这为后续深入分析提供了方向。5. 生成Excel分析报告数据分析的最终产出往往是报告。我们将清洗后的数据、关键统计结果和生成的图表整合到一个Excel文件中。5.1 将数据与图表写入Excel使用pandas的ExcelWriter配合openpyxl引擎可以灵活地将多个DataFrame和图表写入同一个Excel文件的不同工作表。# 准备要写入Excel的数据 # 1. 清洗后的详细数据 df_to_excel df_clean.copy() # 将日期列转换回字符串格式便于在Excel中阅读 df_to_excel[date] df_to_excel[date].dt.strftime(%Y-%m-%d) # 2. 关键统计摘要创建一个新的DataFrame summary_data { 指标: [平均最高温, 平均最低温, 最大温差, 最小温差, 最常见天气, 优质空气天数], 数值: [ f{df_clean[high_temp].mean():.1f} °C, f{df_clean[low_temp].mean():.1f} °C, f{df_clean[temp_range].max():.1f} °C, f{df_clean[temp_range].min():.1f} °C, df_clean[weather].mode()[0], f{sum(df_clean[aqi_level] 优)} 天 ] } df_summary pd.DataFrame(summary_data) # 3. 写入Excel文件 output_file_path 苏州天气分析.xlsx with pd.ExcelWriter(output_file_path, engineopenpyxl) as writer: # 写入详细数据到“原始数据”工作表 df_to_excel.to_excel(writer, sheet_name详细数据, indexFalse) # 写入统计摘要到“分析摘要”工作表 df_summary.to_excel(writer, sheet_name分析摘要, indexFalse) # 获取workbook和worksheet对象用于插入图表 workbook writer.book # 创建一个新的工作表来放置图表 chart_sheet workbook.create_sheet(title分析图表) # 将之前生成的 matplotlib 图表保存为图片然后插入Excel # 注意需要重新生成一次图表并保存 fig, axes plt.subplots(2, 2, figsize(12, 9)) # ... (此处应重复第4.2节中绘制四个子图的代码篇幅原因省略) ... # 假设图表已绘制在fig对象中 chart_img_path temp_chart.png fig.savefig(chart_img_path, dpi150, bbox_inchestight) plt.close(fig) # 将图片插入Excel的‘分析图表’工作表 from openpyxl.drawing.image import Image img Image(chart_img_path) chart_sheet.add_image(img, A1) # 调整列宽可选 for sheet in writer.sheets: worksheet writer.sheets[sheet] for column in worksheet.columns: max_length 0 column_letter column[0].column_letter for cell in column: try: if len(str(cell.value)) max_length: max_length len(str(cell.value)) except: pass adjusted_width min(max_length 2, 50) # 设置最大宽度 worksheet.column_dimensions[column_letter].width adjusted_width print(f分析报告已成功生成{output_file_path})5.2 报告内容验证生成文件后手动打开苏州天气分析.xlsx检查三个工作表详细数据包含所有清洗和计算后的字段。分析摘要以表格形式呈现核心指标。分析图表包含了之前生成的四合一可视化图表。6. 项目复盘、常见问题与最佳实践完成一个完整的数据分析流程后进行复盘和总结至关重要。以下是基于本项目提炼出的关键点、常见陷阱及应对策略。6.1 典型问题排查清单在实际操作中你可能会遇到以下问题问题现象可能原因检查与解决思路requests获取数据失败返回403/4041. API地址或参数错误。2. 网站有反爬机制如需要Headers、Cookies。3. IP请求频率过高被限制。1. 核对API文档检查参数格式。2. 添加User-Agent等请求头模拟浏览器。3. 添加延时time.sleep使用代理IP池高级。pandas读取或处理数据时出现KeyError列名拼写错误或数据中不存在该列。使用df.columns打印所有列名仔细核对。图表中文显示为方框matplotlib 默认字体不包含中文。在绘图前设置中文字体如plt.rcParams[font.sans-serif] [SimHei]。写入Excel后图表不显示或变形1. 图片路径错误。2.openpyxl版本兼容性问题。3. 单元格位置不够大。1. 确认图片保存成功且路径正确。2. 确保openpyxl为较新版本。3. 调整插入图片的起始单元格或图片尺寸。数据清洗后分析结果不符合预期1. 缺失值处理方式不当如误删关键数据。2. 异常值处理过度或不足。3. 数据类型转换错误。1. 对比清洗前后数据分布describe()。2. 可视化查看异常值处理前后的对比。3. 使用df.dtypes确认每列数据类型。6.2 数据分析最佳实践保持数据管道可复现将数据采集、清洗、分析的代码封装成函数或类并使用版本控制如Git管理。关键步骤如删除行、填充缺失值添加注释说明原因。分离配置与逻辑将API密钥、文件路径、数据库连接字符串等配置信息提取到配置文件如config.ini、config.yaml或环境变量中不要硬编码在脚本里。重视数据质量验证在清洗前后关键节点使用断言或条件检查验证数据的基本假设例如assert df[temperature].min() -50, “温度数据异常”。可视化服务于洞察不要为了画图而画图。每个图表都应有明确的目的是为了回答某个业务问题。图表标题和标签要清晰准确。生产环境考量容错网络请求、文件读写要使用try-except进行异常捕获和日志记录。性能处理大规模数据时考虑使用pandas的向量化操作避免低效的循环。必要时使用Dask或PySpark。调度定期运行的分析任务可以使用cron(Linux) 或Task Scheduler(Windows) 或Airflow、Celery等工具进行自动化调度。交付除了Excel考虑自动化生成PDF报告、更新数据库看板或通过邮件发送分析结果。6.3 项目扩展方向掌握了基础流程后你可以尝试以下方向深化技能数据源扩展接入更真实的API如和风天气、心知天气或从数据库、日志文件中获取数据。分析深度扩展引入时间序列分析预测未来温度趋势使用聚类算法对天气模式进行分组。可视化进阶使用Plotly、Pyecharts制作交互式图表和大屏仪表板。工程化扩展将整个流程包装成一个Python包通过命令行参数指定城市、分析天数或构建一个简单的Web应用使用Flask/Streamlit让用户上传数据并在线查看分析报告。结合业务场景将这套方法应用于电商销售数据分析、用户行为分析、系统监控指标分析等实际业务场景这是数据分析师价值的核心体现。通过这个从数据采集到报告生成的完整项目你不仅学会了工具的使用更重要的是理解了数据分析每一步的意图和背后的思考逻辑。接下来你可以寻找自己感兴趣领域的数据用这套方法论去探索和发现属于你的数据洞察。
，数字 IIR 低通滤波器完整设计流程)
