简介本资源是一个基于Python与Flask开发的山东省气象数据分析系统面向气象爱好者、数据可视化初学者及高校地理/信管专业学生解决实时天气抓取、历史数据存储与多维度可视化分析的实际需求。系统完整实现从网页爬虫获取山东省各市实时与历史气象数据温度、湿度、风速、降水等到后端存储、API服务构建再到前端地图热力图、折线图、柱状图等交互式图表展示的全流程。压缩包共140个文件3.26MB含35个CSV气象数据集、31张JPG/SVG可视化效果图、19个JS前端交互脚本、12个PNG图标资源、10个CSS样式文件及4个核心Python后端模块Bootstrap、Font Awesome、jQuery等前端库已集成开箱即用。已有120人学习下载提供可直接运行的Flask项目结构、带注释的数据处理逻辑、响应式可视化模板及配套说明文档助读者快速掌握气象数据采集—清洗—存储—分析—可视化的全链路实践能力。1. 项目概述与核心价值最近在做一个挺有意思的实战项目核心就是围绕咱们山东省的天气数据从爬取、存储到可视化分析用Python和Flask搭了一套完整的系统。这项目听起来可能有点“老生常谈”但真正做下来你会发现从数据源的稳定性、反爬策略的应对到海量历史数据的结构化存储再到如何用图表清晰呈现“温度、湿度、风速、降水”这些气象要素的时空变化规律每一步都有不少门道和坑要踩。这不仅仅是写个爬虫那么简单它更像是一个微型的“数据工程数据分析Web应用”的综合体非常适合用来巩固Python全栈技能尤其是数据处理和可视化的实战能力。这个系统主要解决了几个实际问题一是如何稳定、持续地获取实时与历史天气数据二是如何高效地存储和管理这些可能非常庞大的时间序列数据三是如何将枯燥的数据转化为直观的图表让任何人一眼就能看懂山东各地天气的变化趋势和特点。无论是想研究本地气候特征还是为出行、农业活动提供参考甚至作为数据分析的入门练手项目它都很有价值。接下来我就把自己从零搭建这个系统的完整思路、关键技术选型、踩过的坑以及最终的效果详细地分享给大家。2. 系统整体设计与技术栈选型2.1 核心架构思路在设计之初我就明确了这个系统需要具备几个核心模块数据采集层、数据存储层、数据处理与分析层以及应用展示层。整个系统的运行流程可以概括为定时任务驱动爬虫从目标网站抓取最新天气数据经过清洗和格式化后存入数据库当用户通过Web前端发起请求时后端从数据库中查询数据并利用可视化库生成图表最后通过网页呈现给用户。这是一个典型的“数据流水线”架构重点在于各环节的解耦和稳定性。为什么选择这样的架构首先将爬虫采集与Web服务展示分离通过数据库作为中间桥梁可以避免爬虫的不稳定直接影响到Web服务的响应。其次定时任务保证了数据的持续更新为历史分析积累了素材。最后前后端分离的思路虽然这里用Flask模板渲染也算轻度耦合让项目结构清晰便于维护和扩展。2.2 关键技术栈选型解析Python: 这是毋庸置疑的选择。它在数据爬取Requests, Scrapy、数据处理Pandas, NumPy、数据分析SciPy, Statsmodels和可视化Matplotlib, Seaborn, Pyecharts等领域拥有极其丰富和成熟的库生态一站式解决所有需求。Flask: 为什么是Flask而不是Django对于这个项目我们需要的是一个轻量、灵活、易于快速搭建原型的Web框架。Flask的微内核设计给了我们最大的自由度路由、模板、数据库ORM都可以按需组合。项目主要提供数据API和图表渲染没有Django那种重量级Admin后台的强需求Flask的简洁性更胜一筹。当然如果你对Django更熟用它也完全没问题只是项目结构会稍显庞大。数据爬取库 - Requests BeautifulSoup4: 目标天气网站的结构如果相对简单没有复杂的JavaScript渲染那么RequestsBeautifulSoup4的组合就足够了。它们轻量、易上手是处理静态页面的黄金搭档。如果遇到动态加载的内容可以考虑加入Selenium或Playwright但会显著增加复杂度和资源消耗。本项目初期以静态解析为主。数据存储 - SQLite / MySQL: 对于个人项目或中小规模数据SQLite是完美的选择它无需安装单独的数据库服务单个文件便于管理和迁移。如果预计数据量极大比如全省所有县区多年逐小时数据或者考虑未来多用户访问可以升级到MySQL或PostgreSQL。这里我为了演示的便捷性首选SQLite并使用SQLAlchemy作为ORM方便日后无缝切换数据库。数据可视化 - Pyecharts / Matplotlib Seaborn: 这是选型的重点。Matplotlib是基础功能强大但默认样式较丑需要较多配置Seaborn基于Matplotlib统计图表美观但交互性弱。为了在Web端实现丰富的交互式图表如地图、数据刷选、缩放我选择了Pyecharts。它是一个将ECharts一个优秀的JavaScript可视化库封装成Python接口的库可以直接生成HTML片段或JSON配置与Flask集成非常方便能轻松制作出美观且交互性强的地图热力图、折线图等。任务调度 - APScheduler: 为了实现定时爬取如每30分钟抓取一次实时天气需要一个轻量级的任务调度库。APScheduler支持定时、间隔、Cron等多种触发方式可以很好地集成到Flask应用中作为后台进程运行。前端呈现 - Bootstrap Jinja2: 使用Bootstrap框架快速搭建一个简洁、响应式的Web界面。Flask默认的模板引擎Jinja2负责将后端数据包括Pyecharts生成的图表HTML渲染到页面中。选型心得技术选型没有绝对的好坏只有是否适合。这个选型组合的核心思想是“轻量、高效、够用”尽可能减少不必要的依赖和复杂度把精力集中在核心业务逻辑——数据处理和可视化上。避免在项目初期就引入像Celery分布式任务队列、Redis缓存这些重型组件除非确有明确需求。3. 核心模块实现细节与实操要点3.1 天气数据爬取模块设计与反爬策略数据源是项目的基石。我选择了国内一个提供山东省各地市详细天气信息的公开网站作为数据来源。爬虫模块的核心类是WeatherSpider。1. 请求头与会话管理import requests from bs4 import BeautifulSoup import time import random class WeatherSpider: def __init__(self): self.session requests.Session() # 设置一个看起来像浏览器的请求头是关键的第一步 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept-Language: zh-CN,zh;q0.9, Referer: https://www.weather.com.cn/, # 模拟从合理来源跳转 } self.session.headers.update(self.headers)使用Session()对象可以保持Cookie模拟一个真实的用户会话。User-Agent必须设置为常见的浏览器标识这是绕过基础反爬的最基本措施。2. 页面解析与数据提取假设目标页面结构清晰数据存在于HTML标签中。def parse_weather_data(self, city_code): 根据城市代码解析实时天气 url fhttps://www.xxx.com.cn/weather/{city_code}.shtml try: # 加入随机延迟模拟人工操作避免请求过快 time.sleep(random.uniform(1, 3)) resp self.session.get(url, timeout10) resp.raise_for_status() # 检查HTTP状态码 resp.encoding utf-8 # 根据网站实际情况设置编码 soup BeautifulSoup(resp.text, html.parser) # 这里需要根据实际网页结构定位元素以下是示例 temp_tag soup.find(p, class_tem) humidity_tag soup.find(p, class_hum) wind_tag soup.find(p, class_win) weather_data { city_code: city_code, temperature: temp_tag.span.text if temp_tag else None, # 温度 humidity: humidity_tag.span.text if humidity_tag else None, # 湿度 wind_direction: wind_tag.i[title] if wind_tag else None, # 风向 wind_speed: wind_tag.span.text if wind_tag else None, # 风速 update_time: datetime.now().strftime(%Y-%m-%d %H:%M:%S) } return weather_data except requests.RequestException as e: print(f请求{url}失败: {e}) return None except Exception as e: print(f解析{url}数据失败: {e}) return None关键点解析逻辑高度依赖于网页结构一旦网站改版代码就需要调整。因此选择相对稳定的数据源并将解析规则如CSS选择器集中管理便于维护。3. 应对反爬策略频率控制在请求间加入random.uniform(a, b)的随机延迟是尊重网站服务器、避免IP被封的最有效方法之一。错误重试实现一个简单的重试机制当请求失败如超时、状态码非200时重试2-3次。代理IP池进阶如果数据量需求极大或网站反爬严厉需要考虑使用代理IP。但对于本项目这样的低频、小规模抓取通常不需要。检查Robots协议在爬取前务必检查目标网站的robots.txt文件遵守其规则这是合法合规爬取的前提。实操心得爬虫代码的健壮性比功能性更重要。一定要做好异常处理try-except记录详细的日志如哪个城市、什么时间、因何原因失败并考虑将失败的任务暂存稍后重试。数据质量直接影响后续分析和可视化脏数据如‘-’、‘N/A’需要在入库前进行清洗和转换。3.2 数据存储模块设计与优化存储模块的设计目标是可靠、高效地存储时间序列气象数据并方便查询。1. 数据库模型设计使用SQLAlchemy ORMfrom flask_sqlalchemy import SQLAlchemy from datetime import datetime db SQLAlchemy() class City(db.Model): 城市信息表 id db.Column(db.Integer, primary_keyTrue) code db.Column(db.String(20), uniqueTrue, nullableFalse) # 城市代码 name db.Column(db.String(50), nullableFalse) # 城市名称 province db.Column(db.String(20), default山东) # 地理坐标用于地图可视化 longitude db.Column(db.Float) latitude db.Column(db.Float) class WeatherRecord(db.Model): 天气记录表核心表 id db.Column(db.Integer, primary_keyTrue) city_id db.Column(db.Integer, db.ForeignKey(city.id), nullableFalse) # 建立关系方便查询 city db.relationship(City, backrefdb.backref(records, lazydynamic)) # 气象要素 temperature db.Column(db.Float) # 温度摄氏度 humidity db.Column(db.Integer) # 湿度百分比 wind_direction db.Column(db.String(20)) # 风向 wind_speed db.Column(db.Float) # 风速米/秒 precipitation db.Column(db.Float) # 降水量毫米 air_quality db.Column(db.String(20)) # 空气质量可选 # 时间维度 record_time db.Column(db.DateTime, nullableFalse) # 数据记录时间来自网站 crawl_time db.Column(db.DateTime, defaultdatetime.utcnow) # 爬取时间 # 创建复合索引这是提升按城市和时间范围查询性能的关键 __table_args__ ( db.Index(idx_city_time, city_id, record_time), )设计解析数据表分离将相对静态的City信息与动态的WeatherRecord分开符合数据库设计范式避免冗余。字段类型选择数值型数据温度、风速使用Float便于后续计算分析时间使用DateTime。索引优化在WeatherRecord表上创建(city_id, record_time)的复合索引。因为我们的查询99%都是“查询某个城市在某段时间内的天气数据”。这个索引能极大加速这类查询。关系关联通过SQLAlchemy的relationship定义可以方便地通过record.city.name获取城市名无需手动联表查询。2. 数据入库与去重爬虫获取的数据不能直接insert必须考虑去重。通常以城市数据记录时间作为唯一标识。def save_weather_data(city_code, weather_data): 保存天气数据自动去重 city City.query.filter_by(codecity_code).first() if not city: print(f城市{city_code}不存在于数据库) return False # 检查是否已存在相同时刻的记录 existing WeatherRecord.query.filter_by( city_idcity.id, record_timeweather_data[record_time] # 假设爬虫解析出了这个时间 ).first() if existing: print(f数据已存在: {city.name} - {weather_data[record_time]}) # 可以选择更新操作这里选择跳过 return False new_record WeatherRecord( city_idcity.id, temperatureweather_data[temperature], humidityweather_data[humidity], # ... 其他字段赋值 record_timeweather_data[record_time] ) db.session.add(new_record) try: db.session.commit() print(f数据保存成功: {city.name} - {weather_data[record_time]}) return True except Exception as e: db.session.rollback() print(f数据保存失败: {e}) return False注意事项数据库操作一定要放在try-except块中并在失败时执行rollback()。对于频繁的插入操作可以考虑使用db.session.bulk_save_objects()进行批量提交能显著提升性能。另外随着数据量增长需要考虑定期归档或分表策略例如按年月将历史数据存放到不同的表或数据库中。3.3 多维度数据可视化实现可视化是本系统的亮点目标是让数据“说话”。我们使用Pyecharts来生成交互式图表。1. 全省天气地图热力图这个图表直观显示全省各地市的温度或湿度分布。from pyecharts import options as opts from pyecharts.charts import Map import pandas as pd def create_temperature_map(start_date, end_date): 生成指定日期区间内山东省平均温度地图 # 1. 从数据库查询数据 # 这里假设查询每个城市在时间段内的平均温度 sql SELECT c.name, c.longitude, c.latitude, AVG(w.temperature) as avg_temp FROM weather_record w JOIN city c ON w.city_id c.id WHERE w.record_time BETWEEN :start AND :end GROUP BY c.id, c.name result db.session.execute(sql, {start: start_date, end: end_date}) data_df pd.DataFrame(result.fetchall(), columns[city, lon, lat, avg_temp]) # 2. 准备Pyecharts Map所需的数据格式: [(济南市, 25.6), (青岛市, 23.1), ...] map_data [(row[city], round(row[avg_temp], 1)) for _, row in data_df.iterrows()] # 3. 构建地图 map_chart ( Map(init_optsopts.InitOpts(width1000px, height600px)) .add( series_name平均温度(℃), data_pairmap_data, maptype山东, # Pyecharts内置了中国各省地图 is_map_symbol_showFalse, # 不显示标记点 label_optsopts.LabelOpts(is_showTrue), # 显示地名 ) .set_global_opts( title_optsopts.TitleOpts(titlef山东省平均温度分布 ({start_date} 至 {end_date})), visualmap_optsopts.VisualMapOpts( min_data_df[avg_temp].min() // 1, # 视觉映射组件最小值 max_data_df[avg_temp].max() // 1 1, # 最大值 is_piecewiseFalse, # 连续型渐变 range_color[#313695, #4575b4, #74add1, #abd9e9, #e0f3f8, #ffffbf, #fee090, #fdae61, #f46d43, #d73027, #a50026] # 蓝-黄-红的渐变色常用于温度 ), tooltip_optsopts.TooltipOpts(triggeritem, formatter{b}: {c}℃), ) ) # 4. 渲染为HTML字符串供Flask模板嵌入 return map_chart.render_embed()关键点Pyecharts需要山东的地图文件。你需要通过pip install echarts-china-provinces-pypkg等包来安装中国地图资源。颜色映射range_color的选择对表达效果至关重要要符合数据语义如温度用冷暖色系。2. 多城市气象要素对比柱状图比较不同城市在同一时刻或同一时间段内的某项指标如降水量。from pyecharts.charts import Bar def create_precipitation_bar(target_date): 生成指定日期山东省各城市降水量对比柱状图 # 查询逻辑类似获取各城市target_date的降水量 # ... bar_data [(济南, 5.2), (青岛, 12.8), (烟台, 8.1), ...] # 示例数据 bar_chart ( Bar(init_optsopts.InitOpts(width1000px, height500px)) .add_xaxis([x[0] for x in bar_data]) # X轴城市名 .add_yaxis(降水量(mm), [x[1] for x in bar_data]) # Y轴降水量 .set_global_opts( title_optsopts.TitleOpts(titlef山东省各城市降水量对比 ({target_date})), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)), # X轴标签旋转防重叠 yaxis_optsopts.AxisOpts(name降水量(mm)), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts()], # 添加数据区域缩放组件便于查看数据多的城市 ) .set_series_opts( label_optsopts.LabelOpts(is_showTrue, positiontop), # 在柱顶显示数值 itemstyle_optsopts.ItemStyleOpts(color#5470c6) # 统一柱条颜色 ) ) return bar_chart.render_embed()3. 单城市历史趋势折线图展示某个城市如济南过去一周或一个月的温度、湿度变化趋势。from pyecharts.charts import Line def create_temperature_trend_line(city_name, days7): 生成指定城市过去N天的温度趋势折线图 # 查询该城市过去days天的每日平均温度 # ... # date_list [2023-10-01, 2023-10-02, ...] # temp_list [22.1, 23.5, ...] line_chart ( Line(init_optsopts.InitOpts(width1200px, height500px)) .add_xaxis(date_list) .add_yaxis( 平均温度(℃), temp_list, is_smoothTrue, # 平滑曲线 markpoint_optsopts.MarkPointOpts(data[opts.MarkPointItem(type_max), opts.MarkPointItem(type_min)]), # 标记最高最低点 linestyle_optsopts.LineStyleOpts(width3), itemstyle_optsopts.ItemStyleOpts(color#d14a61), ) .set_global_opts( title_optsopts.TitleOpts(titlef{city_name}近{days}天温度变化趋势), xaxis_optsopts.AxisOpts(name日期, boundary_gapFalse), # 坐标轴不留白 yaxis_optsopts.AxisOpts(name温度(℃)), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts(type_inside)], # 内置型数据区域缩放 ) ) # 可以添加多条线比如同时显示最高温和最低温 # .add_yaxis(最高温度, max_temp_list, ...) # .add_yaxis(最低温度, min_temp_list, ...) return line_chart.render_embed()可视化技巧图表联动Pyecharts支持图表联动比如点击地图上的某个城市旁边的折线图就显示该城市的趋势。这需要通过JavaScript回调实现复杂度较高但能极大提升交互体验。性能优化当历史数据量极大时如数万条记录在浏览器端渲染大量数据点会导致卡顿。解决方案有两种一是在后端使用Pandas或数据库进行聚合如按小时/天计算平均值减少传输和渲染的数据量二是启用Pyecharts的数据异步加载功能。移动端适配Pyecharts生成的图表默认是固定宽高。在响应式页面中可以设置InitOpts的width100%并配合前端CSS使图表容器自适应。3.4 Flask Web应用集成与调度这是将前后端模块粘合起来的部分。1. Flask应用骨架与路由from flask import Flask, render_template, request, jsonify from apscheduler.schedulers.background import BackgroundScheduler from spider import WeatherSpider from models import db, save_weather_data from charts import create_temperature_map, create_precipitation_bar, create_temperature_trend_line app Flask(__name__) app.config[SQLALCHEMY_DATABASE_URI] sqlite:///weather.db app.config[SQLALCHEMY_TRACK_MODIFICATIONS] False db.init_app(app) # 初始化爬虫和调度器 spider WeatherSpider() scheduler BackgroundScheduler() app.route(/) def index(): 首页展示全省地图概览和最新数据 # 获取最新数据日期 latest_date get_latest_record_date() map_html create_temperature_map(latest_date, latest_date) # 展示最新一天的地图 cities_weather get_latest_cities_weather() # 获取各城市最新天气 return render_template(index.html, map_htmlmap_html, citiescities_weather) app.route(/city/city_name) def city_detail(city_name): 城市详情页展示该城市的趋势图和详细数据 trend_line_html create_temperature_trend_line(city_name, 30) # 近30天趋势 city_info get_city_info(city_name) return render_template(city_detail.html, trend_htmltrend_line_html, citycity_info) app.route(/api/weather) def api_weather(): 提供JSON格式的天气数据API供前端异步请求或第三方调用 city request.args.get(city) date request.args.get(date) # 参数校验和查询数据库... data query_weather_data(city, date) return jsonify({status: success, data: data}) # 定时任务函数 def scheduled_crawl(): print(开始执行定时爬取任务...) city_codes [101120101, 101120201, ...] # 山东各城市代码 for code in city_codes: data spider.parse_weather_data(code) if data: save_weather_data(code, data) time.sleep(5) # 每个城市请求间隔5秒 print(定时爬取任务完成。) # 在应用启动后添加定时任务仅一次 if not scheduler.running: scheduler.add_job(scheduled_crawl, interval, hours1) # 每1小时执行一次 scheduler.start() if __name__ __main__: with app.app_context(): db.create_all() # 创建数据库表 app.run(debugTrue)2. 模板渲染Jinja2index.html模板中只需将后端传来的图表HTML字符串用{{ map_html|safe }}渲染即可。Bootstrap用于布局和样式。3. 调度器集成注意事项后台运行BackgroundScheduler会在一个后台线程中运行不影响Flask的主Web服务。避免重复启动在像Gunicorn这样的多Worker生产环境中定时任务可能会被重复启动。需要额外的机制来确保任务只运行一次例如使用文件锁或借助数据库状态标志。任务持久化默认情况下APScheduler的任务存储在内存中应用重启后会丢失。对于生产环境需要配置作业存储如使用SQLAlchemyJobStore将任务持久化到数据库。4. 部署、优化与常见问题排查4.1 本地开发与生产部署本地开发直接运行python app.py即可。开启debugTrue模式便于调试但切记不要在生产环境使用。生产部署推荐使用GunicornNginx的组合。Gunicorn: 一个Python WSGI HTTP服务器比Flask自带的开发服务器更稳定、性能更好。pip install gunicorn gunicorn -w 4 -b 0.0.0.0:8000 app:app-w 4表示启动4个Worker进程处理请求。Nginx: 作为反向代理和静态文件服务器。将用户请求转发给Gunicorn。直接处理静态文件CSS, JS, 图片减轻Python应用负担。配置SSL证书实现HTTPS。 一个简单的Nginx配置片段如下server { listen 80; server_name your_domain.com; location / { proxy_pass http://127.0.0.1:8000; # 转发给Gunicorn proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } location /static { alias /path/to/your/app/static; # 静态文件目录 expires 30d; } }进程管理使用systemd或Supervisor来管理Gunicorn进程确保应用在服务器重启后能自动运行。4.2 性能优化建议数据库查询优化索引是王道如前所述在(city_id, record_time)上建立复合索引。避免N1查询使用SQLAlchemy的joinedload或subqueryload在单次查询中加载关联对象。分页查询当查询历史数据时一定要实现分页避免一次性拉取过多数据。Flask-SQLAlchemy提供了paginate()方法。聚合计算放数据库像“计算每个城市的月平均温度”这样的操作尽量使用SQL的AVG()、GROUP BY在数据库端完成而不是把所有数据拉到Python中再用Pandas计算。缓存策略对于变化不频繁的数据如城市列表、某个城市过去一年的月度统计图表可以使用缓存。Flask有Flask-Caching扩展可以很方便地集成内存缓存如SimpleCache或Redis。例如将生成地图图表的函数结果缓存10分钟from flask_caching import Cache cache Cache(app, config{CACHE_TYPE: simple}) app.route(/map) cache.cached(timeout600) # 缓存600秒 def show_map(): # ... 生成地图的耗时操作 return render_template(map.html, map_htmlmap_html)前端资源优化使用Bootstrap的CDN链接减少服务器带宽。将Pyecharts等库的JavaScript文件也通过CDN引入。压缩和合并自定义的CSS/JS文件。4.3 常见问题与排查实录在开发和运行过程中你几乎一定会遇到以下问题问题1爬虫突然获取不到数据了返回状态码403或页面结构变了。可能原因网站反爬升级如验证码、请求头校验、IP频率限制网页结构改版。排查步骤手动用浏览器访问目标URL检查页面是否能正常打开数据是否还在。检查爬虫日志看具体的错误信息状态码、响应内容。对比当前的网页HTML和爬虫代码中的解析规则如CSS选择器看是否匹配。使用工具如浏览器开发者工具的Network面板对比你的爬虫请求和浏览器正常请求的Headers差异特别是User-Agent,Cookie,Referer等。解决方案更新请求头模拟得更像真实浏览器。如果网站用了动态加载数据来自XHR请求需要找到真正的数据接口API直接请求JSON数据这比解析HTML更稳定。增加请求间隔使用代理IP池。编写更健壮的解析逻辑使用try-except包裹可能出错的解析步骤并记录下原始HTML片段以便分析。问题2数据库查询速度越来越慢。可能原因数据量增长后缺乏有效索引查询语句写得不合理如SELECT *存在慢查询。排查步骤使用SQLite的.explain命令或MySQL的EXPLAIN分析你的关键查询语句看是否进行了全表扫描。检查是否在常用的查询条件字段上建立了索引。检查是否一次性查询了过多不需要的字段或数据。解决方案为高频查询条件创建索引。优化查询语句只获取需要的字段避免SELECT *。对历史数据进行分表或归档将活跃数据与冷数据分离。问题3Pyecharts地图不显示或显示不全。可能原因缺少对应的地图文件地图注册不正确数据格式不对。排查步骤检查控制台浏览器F12是否有JavaScript错误。确认已安装必要的地图包如echarts-china-provinces-pypkg。在Python代码中确保在绘制地图前已经from pyecharts.datasets import register_map并正确注册。检查传递给Map组件的数据格式必须是[(地名, 数值), ...]的列表且地名必须与地图文件中的名称严格一致如“山东省”还是“山东”。解决方案根据Pyecharts文档安装并注册正确的地图包。统一数据中的地名与地图文件中的名称。可以先用一个简单的、硬编码的数据测试地图是否能正常显示再接入真实数据。问题4定时任务在Gunicorn多Worker模式下重复执行。可能原因Gunicorn启动了多个Worker进程每个进程都独立运行了APScheduler的启动代码导致同一个任务被多次添加。解决方案使用外部触发器将定时任务剥离出Flask应用使用系统的Cron来定时执行一个独立的Python脚本python crawl_job.py。使用进程锁在APScheduler启动前检查一个标志如数据库中的某条记录、一个特定的文件锁确保只有一个进程能启动调度器。这种方法相对复杂。使用专有任务队列对于生产环境更推荐使用Celery这类分布式任务队列来管理后台任务它能更好地处理并发、重试和监控。问题5前端页面加载大量图表时非常卡顿。可能原因一个页面内嵌入了过多包含大量数据点的Pyecharts图表网络传输数据量过大。解决方案按需加载改为使用异步加载Ajax当用户点击或切换到某个标签页时再动态请求并渲染该图表。数据聚合在生成图表前对数据进行聚合。例如展示一年的趋势时不要用365个数据点可以聚合为12个月均值或52周均值。简化图表考虑是否所有图表都必须同时展示是否可以提供选项让用户选择要查看的指标和时间范围这个项目从构思到实现涉及了从网络爬虫、数据存储、后端开发到前端可视化的完整链条。最大的体会是稳定性和可维护性往往比实现一个炫酷的功能更重要。花时间写好日志、做好错误处理、设计清晰的数据结构在后期会节省大量的调试和修改时间。希望这份详细的拆解和实录能帮助你少走弯路顺利搭建起自己的天气数据可视化系统。本文还有配套的精品资源点击获取
Python Flask构建山东天气数据可视化系统：从爬虫到Web应用全流程实战
简介本资源是一个基于Python与Flask开发的山东省气象数据分析系统面向气象爱好者、数据可视化初学者及高校地理/信管专业学生解决实时天气抓取、历史数据存储与多维度可视化分析的实际需求。系统完整实现从网页爬虫获取山东省各市实时与历史气象数据温度、湿度、风速、降水等到后端存储、API服务构建再到前端地图热力图、折线图、柱状图等交互式图表展示的全流程。压缩包共140个文件3.26MB含35个CSV气象数据集、31张JPG/SVG可视化效果图、19个JS前端交互脚本、12个PNG图标资源、10个CSS样式文件及4个核心Python后端模块Bootstrap、Font Awesome、jQuery等前端库已集成开箱即用。已有120人学习下载提供可直接运行的Flask项目结构、带注释的数据处理逻辑、响应式可视化模板及配套说明文档助读者快速掌握气象数据采集—清洗—存储—分析—可视化的全链路实践能力。1. 项目概述与核心价值最近在做一个挺有意思的实战项目核心就是围绕咱们山东省的天气数据从爬取、存储到可视化分析用Python和Flask搭了一套完整的系统。这项目听起来可能有点“老生常谈”但真正做下来你会发现从数据源的稳定性、反爬策略的应对到海量历史数据的结构化存储再到如何用图表清晰呈现“温度、湿度、风速、降水”这些气象要素的时空变化规律每一步都有不少门道和坑要踩。这不仅仅是写个爬虫那么简单它更像是一个微型的“数据工程数据分析Web应用”的综合体非常适合用来巩固Python全栈技能尤其是数据处理和可视化的实战能力。这个系统主要解决了几个实际问题一是如何稳定、持续地获取实时与历史天气数据二是如何高效地存储和管理这些可能非常庞大的时间序列数据三是如何将枯燥的数据转化为直观的图表让任何人一眼就能看懂山东各地天气的变化趋势和特点。无论是想研究本地气候特征还是为出行、农业活动提供参考甚至作为数据分析的入门练手项目它都很有价值。接下来我就把自己从零搭建这个系统的完整思路、关键技术选型、踩过的坑以及最终的效果详细地分享给大家。2. 系统整体设计与技术栈选型2.1 核心架构思路在设计之初我就明确了这个系统需要具备几个核心模块数据采集层、数据存储层、数据处理与分析层以及应用展示层。整个系统的运行流程可以概括为定时任务驱动爬虫从目标网站抓取最新天气数据经过清洗和格式化后存入数据库当用户通过Web前端发起请求时后端从数据库中查询数据并利用可视化库生成图表最后通过网页呈现给用户。这是一个典型的“数据流水线”架构重点在于各环节的解耦和稳定性。为什么选择这样的架构首先将爬虫采集与Web服务展示分离通过数据库作为中间桥梁可以避免爬虫的不稳定直接影响到Web服务的响应。其次定时任务保证了数据的持续更新为历史分析积累了素材。最后前后端分离的思路虽然这里用Flask模板渲染也算轻度耦合让项目结构清晰便于维护和扩展。2.2 关键技术栈选型解析Python: 这是毋庸置疑的选择。它在数据爬取Requests, Scrapy、数据处理Pandas, NumPy、数据分析SciPy, Statsmodels和可视化Matplotlib, Seaborn, Pyecharts等领域拥有极其丰富和成熟的库生态一站式解决所有需求。Flask: 为什么是Flask而不是Django对于这个项目我们需要的是一个轻量、灵活、易于快速搭建原型的Web框架。Flask的微内核设计给了我们最大的自由度路由、模板、数据库ORM都可以按需组合。项目主要提供数据API和图表渲染没有Django那种重量级Admin后台的强需求Flask的简洁性更胜一筹。当然如果你对Django更熟用它也完全没问题只是项目结构会稍显庞大。数据爬取库 - Requests BeautifulSoup4: 目标天气网站的结构如果相对简单没有复杂的JavaScript渲染那么RequestsBeautifulSoup4的组合就足够了。它们轻量、易上手是处理静态页面的黄金搭档。如果遇到动态加载的内容可以考虑加入Selenium或Playwright但会显著增加复杂度和资源消耗。本项目初期以静态解析为主。数据存储 - SQLite / MySQL: 对于个人项目或中小规模数据SQLite是完美的选择它无需安装单独的数据库服务单个文件便于管理和迁移。如果预计数据量极大比如全省所有县区多年逐小时数据或者考虑未来多用户访问可以升级到MySQL或PostgreSQL。这里我为了演示的便捷性首选SQLite并使用SQLAlchemy作为ORM方便日后无缝切换数据库。数据可视化 - Pyecharts / Matplotlib Seaborn: 这是选型的重点。Matplotlib是基础功能强大但默认样式较丑需要较多配置Seaborn基于Matplotlib统计图表美观但交互性弱。为了在Web端实现丰富的交互式图表如地图、数据刷选、缩放我选择了Pyecharts。它是一个将ECharts一个优秀的JavaScript可视化库封装成Python接口的库可以直接生成HTML片段或JSON配置与Flask集成非常方便能轻松制作出美观且交互性强的地图热力图、折线图等。任务调度 - APScheduler: 为了实现定时爬取如每30分钟抓取一次实时天气需要一个轻量级的任务调度库。APScheduler支持定时、间隔、Cron等多种触发方式可以很好地集成到Flask应用中作为后台进程运行。前端呈现 - Bootstrap Jinja2: 使用Bootstrap框架快速搭建一个简洁、响应式的Web界面。Flask默认的模板引擎Jinja2负责将后端数据包括Pyecharts生成的图表HTML渲染到页面中。选型心得技术选型没有绝对的好坏只有是否适合。这个选型组合的核心思想是“轻量、高效、够用”尽可能减少不必要的依赖和复杂度把精力集中在核心业务逻辑——数据处理和可视化上。避免在项目初期就引入像Celery分布式任务队列、Redis缓存这些重型组件除非确有明确需求。3. 核心模块实现细节与实操要点3.1 天气数据爬取模块设计与反爬策略数据源是项目的基石。我选择了国内一个提供山东省各地市详细天气信息的公开网站作为数据来源。爬虫模块的核心类是WeatherSpider。1. 请求头与会话管理import requests from bs4 import BeautifulSoup import time import random class WeatherSpider: def __init__(self): self.session requests.Session() # 设置一个看起来像浏览器的请求头是关键的第一步 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept-Language: zh-CN,zh;q0.9, Referer: https://www.weather.com.cn/, # 模拟从合理来源跳转 } self.session.headers.update(self.headers)使用Session()对象可以保持Cookie模拟一个真实的用户会话。User-Agent必须设置为常见的浏览器标识这是绕过基础反爬的最基本措施。2. 页面解析与数据提取假设目标页面结构清晰数据存在于HTML标签中。def parse_weather_data(self, city_code): 根据城市代码解析实时天气 url fhttps://www.xxx.com.cn/weather/{city_code}.shtml try: # 加入随机延迟模拟人工操作避免请求过快 time.sleep(random.uniform(1, 3)) resp self.session.get(url, timeout10) resp.raise_for_status() # 检查HTTP状态码 resp.encoding utf-8 # 根据网站实际情况设置编码 soup BeautifulSoup(resp.text, html.parser) # 这里需要根据实际网页结构定位元素以下是示例 temp_tag soup.find(p, class_tem) humidity_tag soup.find(p, class_hum) wind_tag soup.find(p, class_win) weather_data { city_code: city_code, temperature: temp_tag.span.text if temp_tag else None, # 温度 humidity: humidity_tag.span.text if humidity_tag else None, # 湿度 wind_direction: wind_tag.i[title] if wind_tag else None, # 风向 wind_speed: wind_tag.span.text if wind_tag else None, # 风速 update_time: datetime.now().strftime(%Y-%m-%d %H:%M:%S) } return weather_data except requests.RequestException as e: print(f请求{url}失败: {e}) return None except Exception as e: print(f解析{url}数据失败: {e}) return None关键点解析逻辑高度依赖于网页结构一旦网站改版代码就需要调整。因此选择相对稳定的数据源并将解析规则如CSS选择器集中管理便于维护。3. 应对反爬策略频率控制在请求间加入random.uniform(a, b)的随机延迟是尊重网站服务器、避免IP被封的最有效方法之一。错误重试实现一个简单的重试机制当请求失败如超时、状态码非200时重试2-3次。代理IP池进阶如果数据量需求极大或网站反爬严厉需要考虑使用代理IP。但对于本项目这样的低频、小规模抓取通常不需要。检查Robots协议在爬取前务必检查目标网站的robots.txt文件遵守其规则这是合法合规爬取的前提。实操心得爬虫代码的健壮性比功能性更重要。一定要做好异常处理try-except记录详细的日志如哪个城市、什么时间、因何原因失败并考虑将失败的任务暂存稍后重试。数据质量直接影响后续分析和可视化脏数据如‘-’、‘N/A’需要在入库前进行清洗和转换。3.2 数据存储模块设计与优化存储模块的设计目标是可靠、高效地存储时间序列气象数据并方便查询。1. 数据库模型设计使用SQLAlchemy ORMfrom flask_sqlalchemy import SQLAlchemy from datetime import datetime db SQLAlchemy() class City(db.Model): 城市信息表 id db.Column(db.Integer, primary_keyTrue) code db.Column(db.String(20), uniqueTrue, nullableFalse) # 城市代码 name db.Column(db.String(50), nullableFalse) # 城市名称 province db.Column(db.String(20), default山东) # 地理坐标用于地图可视化 longitude db.Column(db.Float) latitude db.Column(db.Float) class WeatherRecord(db.Model): 天气记录表核心表 id db.Column(db.Integer, primary_keyTrue) city_id db.Column(db.Integer, db.ForeignKey(city.id), nullableFalse) # 建立关系方便查询 city db.relationship(City, backrefdb.backref(records, lazydynamic)) # 气象要素 temperature db.Column(db.Float) # 温度摄氏度 humidity db.Column(db.Integer) # 湿度百分比 wind_direction db.Column(db.String(20)) # 风向 wind_speed db.Column(db.Float) # 风速米/秒 precipitation db.Column(db.Float) # 降水量毫米 air_quality db.Column(db.String(20)) # 空气质量可选 # 时间维度 record_time db.Column(db.DateTime, nullableFalse) # 数据记录时间来自网站 crawl_time db.Column(db.DateTime, defaultdatetime.utcnow) # 爬取时间 # 创建复合索引这是提升按城市和时间范围查询性能的关键 __table_args__ ( db.Index(idx_city_time, city_id, record_time), )设计解析数据表分离将相对静态的City信息与动态的WeatherRecord分开符合数据库设计范式避免冗余。字段类型选择数值型数据温度、风速使用Float便于后续计算分析时间使用DateTime。索引优化在WeatherRecord表上创建(city_id, record_time)的复合索引。因为我们的查询99%都是“查询某个城市在某段时间内的天气数据”。这个索引能极大加速这类查询。关系关联通过SQLAlchemy的relationship定义可以方便地通过record.city.name获取城市名无需手动联表查询。2. 数据入库与去重爬虫获取的数据不能直接insert必须考虑去重。通常以城市数据记录时间作为唯一标识。def save_weather_data(city_code, weather_data): 保存天气数据自动去重 city City.query.filter_by(codecity_code).first() if not city: print(f城市{city_code}不存在于数据库) return False # 检查是否已存在相同时刻的记录 existing WeatherRecord.query.filter_by( city_idcity.id, record_timeweather_data[record_time] # 假设爬虫解析出了这个时间 ).first() if existing: print(f数据已存在: {city.name} - {weather_data[record_time]}) # 可以选择更新操作这里选择跳过 return False new_record WeatherRecord( city_idcity.id, temperatureweather_data[temperature], humidityweather_data[humidity], # ... 其他字段赋值 record_timeweather_data[record_time] ) db.session.add(new_record) try: db.session.commit() print(f数据保存成功: {city.name} - {weather_data[record_time]}) return True except Exception as e: db.session.rollback() print(f数据保存失败: {e}) return False注意事项数据库操作一定要放在try-except块中并在失败时执行rollback()。对于频繁的插入操作可以考虑使用db.session.bulk_save_objects()进行批量提交能显著提升性能。另外随着数据量增长需要考虑定期归档或分表策略例如按年月将历史数据存放到不同的表或数据库中。3.3 多维度数据可视化实现可视化是本系统的亮点目标是让数据“说话”。我们使用Pyecharts来生成交互式图表。1. 全省天气地图热力图这个图表直观显示全省各地市的温度或湿度分布。from pyecharts import options as opts from pyecharts.charts import Map import pandas as pd def create_temperature_map(start_date, end_date): 生成指定日期区间内山东省平均温度地图 # 1. 从数据库查询数据 # 这里假设查询每个城市在时间段内的平均温度 sql SELECT c.name, c.longitude, c.latitude, AVG(w.temperature) as avg_temp FROM weather_record w JOIN city c ON w.city_id c.id WHERE w.record_time BETWEEN :start AND :end GROUP BY c.id, c.name result db.session.execute(sql, {start: start_date, end: end_date}) data_df pd.DataFrame(result.fetchall(), columns[city, lon, lat, avg_temp]) # 2. 准备Pyecharts Map所需的数据格式: [(济南市, 25.6), (青岛市, 23.1), ...] map_data [(row[city], round(row[avg_temp], 1)) for _, row in data_df.iterrows()] # 3. 构建地图 map_chart ( Map(init_optsopts.InitOpts(width1000px, height600px)) .add( series_name平均温度(℃), data_pairmap_data, maptype山东, # Pyecharts内置了中国各省地图 is_map_symbol_showFalse, # 不显示标记点 label_optsopts.LabelOpts(is_showTrue), # 显示地名 ) .set_global_opts( title_optsopts.TitleOpts(titlef山东省平均温度分布 ({start_date} 至 {end_date})), visualmap_optsopts.VisualMapOpts( min_data_df[avg_temp].min() // 1, # 视觉映射组件最小值 max_data_df[avg_temp].max() // 1 1, # 最大值 is_piecewiseFalse, # 连续型渐变 range_color[#313695, #4575b4, #74add1, #abd9e9, #e0f3f8, #ffffbf, #fee090, #fdae61, #f46d43, #d73027, #a50026] # 蓝-黄-红的渐变色常用于温度 ), tooltip_optsopts.TooltipOpts(triggeritem, formatter{b}: {c}℃), ) ) # 4. 渲染为HTML字符串供Flask模板嵌入 return map_chart.render_embed()关键点Pyecharts需要山东的地图文件。你需要通过pip install echarts-china-provinces-pypkg等包来安装中国地图资源。颜色映射range_color的选择对表达效果至关重要要符合数据语义如温度用冷暖色系。2. 多城市气象要素对比柱状图比较不同城市在同一时刻或同一时间段内的某项指标如降水量。from pyecharts.charts import Bar def create_precipitation_bar(target_date): 生成指定日期山东省各城市降水量对比柱状图 # 查询逻辑类似获取各城市target_date的降水量 # ... bar_data [(济南, 5.2), (青岛, 12.8), (烟台, 8.1), ...] # 示例数据 bar_chart ( Bar(init_optsopts.InitOpts(width1000px, height500px)) .add_xaxis([x[0] for x in bar_data]) # X轴城市名 .add_yaxis(降水量(mm), [x[1] for x in bar_data]) # Y轴降水量 .set_global_opts( title_optsopts.TitleOpts(titlef山东省各城市降水量对比 ({target_date})), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)), # X轴标签旋转防重叠 yaxis_optsopts.AxisOpts(name降水量(mm)), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts()], # 添加数据区域缩放组件便于查看数据多的城市 ) .set_series_opts( label_optsopts.LabelOpts(is_showTrue, positiontop), # 在柱顶显示数值 itemstyle_optsopts.ItemStyleOpts(color#5470c6) # 统一柱条颜色 ) ) return bar_chart.render_embed()3. 单城市历史趋势折线图展示某个城市如济南过去一周或一个月的温度、湿度变化趋势。from pyecharts.charts import Line def create_temperature_trend_line(city_name, days7): 生成指定城市过去N天的温度趋势折线图 # 查询该城市过去days天的每日平均温度 # ... # date_list [2023-10-01, 2023-10-02, ...] # temp_list [22.1, 23.5, ...] line_chart ( Line(init_optsopts.InitOpts(width1200px, height500px)) .add_xaxis(date_list) .add_yaxis( 平均温度(℃), temp_list, is_smoothTrue, # 平滑曲线 markpoint_optsopts.MarkPointOpts(data[opts.MarkPointItem(type_max), opts.MarkPointItem(type_min)]), # 标记最高最低点 linestyle_optsopts.LineStyleOpts(width3), itemstyle_optsopts.ItemStyleOpts(color#d14a61), ) .set_global_opts( title_optsopts.TitleOpts(titlef{city_name}近{days}天温度变化趋势), xaxis_optsopts.AxisOpts(name日期, boundary_gapFalse), # 坐标轴不留白 yaxis_optsopts.AxisOpts(name温度(℃)), tooltip_optsopts.TooltipOpts(triggeraxis), datazoom_opts[opts.DataZoomOpts(type_inside)], # 内置型数据区域缩放 ) ) # 可以添加多条线比如同时显示最高温和最低温 # .add_yaxis(最高温度, max_temp_list, ...) # .add_yaxis(最低温度, min_temp_list, ...) return line_chart.render_embed()可视化技巧图表联动Pyecharts支持图表联动比如点击地图上的某个城市旁边的折线图就显示该城市的趋势。这需要通过JavaScript回调实现复杂度较高但能极大提升交互体验。性能优化当历史数据量极大时如数万条记录在浏览器端渲染大量数据点会导致卡顿。解决方案有两种一是在后端使用Pandas或数据库进行聚合如按小时/天计算平均值减少传输和渲染的数据量二是启用Pyecharts的数据异步加载功能。移动端适配Pyecharts生成的图表默认是固定宽高。在响应式页面中可以设置InitOpts的width100%并配合前端CSS使图表容器自适应。3.4 Flask Web应用集成与调度这是将前后端模块粘合起来的部分。1. Flask应用骨架与路由from flask import Flask, render_template, request, jsonify from apscheduler.schedulers.background import BackgroundScheduler from spider import WeatherSpider from models import db, save_weather_data from charts import create_temperature_map, create_precipitation_bar, create_temperature_trend_line app Flask(__name__) app.config[SQLALCHEMY_DATABASE_URI] sqlite:///weather.db app.config[SQLALCHEMY_TRACK_MODIFICATIONS] False db.init_app(app) # 初始化爬虫和调度器 spider WeatherSpider() scheduler BackgroundScheduler() app.route(/) def index(): 首页展示全省地图概览和最新数据 # 获取最新数据日期 latest_date get_latest_record_date() map_html create_temperature_map(latest_date, latest_date) # 展示最新一天的地图 cities_weather get_latest_cities_weather() # 获取各城市最新天气 return render_template(index.html, map_htmlmap_html, citiescities_weather) app.route(/city/city_name) def city_detail(city_name): 城市详情页展示该城市的趋势图和详细数据 trend_line_html create_temperature_trend_line(city_name, 30) # 近30天趋势 city_info get_city_info(city_name) return render_template(city_detail.html, trend_htmltrend_line_html, citycity_info) app.route(/api/weather) def api_weather(): 提供JSON格式的天气数据API供前端异步请求或第三方调用 city request.args.get(city) date request.args.get(date) # 参数校验和查询数据库... data query_weather_data(city, date) return jsonify({status: success, data: data}) # 定时任务函数 def scheduled_crawl(): print(开始执行定时爬取任务...) city_codes [101120101, 101120201, ...] # 山东各城市代码 for code in city_codes: data spider.parse_weather_data(code) if data: save_weather_data(code, data) time.sleep(5) # 每个城市请求间隔5秒 print(定时爬取任务完成。) # 在应用启动后添加定时任务仅一次 if not scheduler.running: scheduler.add_job(scheduled_crawl, interval, hours1) # 每1小时执行一次 scheduler.start() if __name__ __main__: with app.app_context(): db.create_all() # 创建数据库表 app.run(debugTrue)2. 模板渲染Jinja2index.html模板中只需将后端传来的图表HTML字符串用{{ map_html|safe }}渲染即可。Bootstrap用于布局和样式。3. 调度器集成注意事项后台运行BackgroundScheduler会在一个后台线程中运行不影响Flask的主Web服务。避免重复启动在像Gunicorn这样的多Worker生产环境中定时任务可能会被重复启动。需要额外的机制来确保任务只运行一次例如使用文件锁或借助数据库状态标志。任务持久化默认情况下APScheduler的任务存储在内存中应用重启后会丢失。对于生产环境需要配置作业存储如使用SQLAlchemyJobStore将任务持久化到数据库。4. 部署、优化与常见问题排查4.1 本地开发与生产部署本地开发直接运行python app.py即可。开启debugTrue模式便于调试但切记不要在生产环境使用。生产部署推荐使用GunicornNginx的组合。Gunicorn: 一个Python WSGI HTTP服务器比Flask自带的开发服务器更稳定、性能更好。pip install gunicorn gunicorn -w 4 -b 0.0.0.0:8000 app:app-w 4表示启动4个Worker进程处理请求。Nginx: 作为反向代理和静态文件服务器。将用户请求转发给Gunicorn。直接处理静态文件CSS, JS, 图片减轻Python应用负担。配置SSL证书实现HTTPS。 一个简单的Nginx配置片段如下server { listen 80; server_name your_domain.com; location / { proxy_pass http://127.0.0.1:8000; # 转发给Gunicorn proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } location /static { alias /path/to/your/app/static; # 静态文件目录 expires 30d; } }进程管理使用systemd或Supervisor来管理Gunicorn进程确保应用在服务器重启后能自动运行。4.2 性能优化建议数据库查询优化索引是王道如前所述在(city_id, record_time)上建立复合索引。避免N1查询使用SQLAlchemy的joinedload或subqueryload在单次查询中加载关联对象。分页查询当查询历史数据时一定要实现分页避免一次性拉取过多数据。Flask-SQLAlchemy提供了paginate()方法。聚合计算放数据库像“计算每个城市的月平均温度”这样的操作尽量使用SQL的AVG()、GROUP BY在数据库端完成而不是把所有数据拉到Python中再用Pandas计算。缓存策略对于变化不频繁的数据如城市列表、某个城市过去一年的月度统计图表可以使用缓存。Flask有Flask-Caching扩展可以很方便地集成内存缓存如SimpleCache或Redis。例如将生成地图图表的函数结果缓存10分钟from flask_caching import Cache cache Cache(app, config{CACHE_TYPE: simple}) app.route(/map) cache.cached(timeout600) # 缓存600秒 def show_map(): # ... 生成地图的耗时操作 return render_template(map.html, map_htmlmap_html)前端资源优化使用Bootstrap的CDN链接减少服务器带宽。将Pyecharts等库的JavaScript文件也通过CDN引入。压缩和合并自定义的CSS/JS文件。4.3 常见问题与排查实录在开发和运行过程中你几乎一定会遇到以下问题问题1爬虫突然获取不到数据了返回状态码403或页面结构变了。可能原因网站反爬升级如验证码、请求头校验、IP频率限制网页结构改版。排查步骤手动用浏览器访问目标URL检查页面是否能正常打开数据是否还在。检查爬虫日志看具体的错误信息状态码、响应内容。对比当前的网页HTML和爬虫代码中的解析规则如CSS选择器看是否匹配。使用工具如浏览器开发者工具的Network面板对比你的爬虫请求和浏览器正常请求的Headers差异特别是User-Agent,Cookie,Referer等。解决方案更新请求头模拟得更像真实浏览器。如果网站用了动态加载数据来自XHR请求需要找到真正的数据接口API直接请求JSON数据这比解析HTML更稳定。增加请求间隔使用代理IP池。编写更健壮的解析逻辑使用try-except包裹可能出错的解析步骤并记录下原始HTML片段以便分析。问题2数据库查询速度越来越慢。可能原因数据量增长后缺乏有效索引查询语句写得不合理如SELECT *存在慢查询。排查步骤使用SQLite的.explain命令或MySQL的EXPLAIN分析你的关键查询语句看是否进行了全表扫描。检查是否在常用的查询条件字段上建立了索引。检查是否一次性查询了过多不需要的字段或数据。解决方案为高频查询条件创建索引。优化查询语句只获取需要的字段避免SELECT *。对历史数据进行分表或归档将活跃数据与冷数据分离。问题3Pyecharts地图不显示或显示不全。可能原因缺少对应的地图文件地图注册不正确数据格式不对。排查步骤检查控制台浏览器F12是否有JavaScript错误。确认已安装必要的地图包如echarts-china-provinces-pypkg。在Python代码中确保在绘制地图前已经from pyecharts.datasets import register_map并正确注册。检查传递给Map组件的数据格式必须是[(地名, 数值), ...]的列表且地名必须与地图文件中的名称严格一致如“山东省”还是“山东”。解决方案根据Pyecharts文档安装并注册正确的地图包。统一数据中的地名与地图文件中的名称。可以先用一个简单的、硬编码的数据测试地图是否能正常显示再接入真实数据。问题4定时任务在Gunicorn多Worker模式下重复执行。可能原因Gunicorn启动了多个Worker进程每个进程都独立运行了APScheduler的启动代码导致同一个任务被多次添加。解决方案使用外部触发器将定时任务剥离出Flask应用使用系统的Cron来定时执行一个独立的Python脚本python crawl_job.py。使用进程锁在APScheduler启动前检查一个标志如数据库中的某条记录、一个特定的文件锁确保只有一个进程能启动调度器。这种方法相对复杂。使用专有任务队列对于生产环境更推荐使用Celery这类分布式任务队列来管理后台任务它能更好地处理并发、重试和监控。问题5前端页面加载大量图表时非常卡顿。可能原因一个页面内嵌入了过多包含大量数据点的Pyecharts图表网络传输数据量过大。解决方案按需加载改为使用异步加载Ajax当用户点击或切换到某个标签页时再动态请求并渲染该图表。数据聚合在生成图表前对数据进行聚合。例如展示一年的趋势时不要用365个数据点可以聚合为12个月均值或52周均值。简化图表考虑是否所有图表都必须同时展示是否可以提供选项让用户选择要查看的指标和时间范围这个项目从构思到实现涉及了从网络爬虫、数据存储、后端开发到前端可视化的完整链条。最大的体会是稳定性和可维护性往往比实现一个炫酷的功能更重要。花时间写好日志、做好错误处理、设计清晰的数据结构在后期会节省大量的调试和修改时间。希望这份详细的拆解和实录能帮助你少走弯路顺利搭建起自己的天气数据可视化系统。本文还有配套的精品资源点击获取
