简介这是一套面向计算机相关专业学生与初阶开发者的智慧旅游大数据分析实战项目聚焦于从互联网爬取景点评论数据并开展服务评价建模与可视化分析。资源适用于课程大作业、毕业设计及学习实践场景兼顾入门者动手训练与高年级项目立项演示需求。压缩包共408个文件含163个CSV格式的原始与处理后评论数据集、55张JPG/PNG图表及界面截图、38个JS与17个CSS等前端交互与样式文件以及少量Python脚本、Jupyter Notebook分析案例和配置文件整体体积54.42MB结构完整、模块清晰。已有188人下载学习可直接运行验证功能配套代码经实测无报错涵盖数据采集、清洗、情感分析、词云生成、ECharts可视化及Web展示全流程特别适合理解大数据项目端到端落地逻辑。1. 这不是又一个旅游网站前端——它用真实爬虫数据驱动景区服务评价模型跑通了从评论采集、情感分析到可视化大屏的完整链路你下载的这个“大数据智慧旅游系统”表面看是一堆 Bootstrap 和 Font Awesome 的 CSS 文件但真正价值藏在背后它把互联网公开景点评论如携程、马蜂窝、大众点评等平台的文本片段当作原始燃料构建了一套轻量级但可落地的大数据分析闭环。它不依赖 Hadoop 或 Spark 集群而是用 Python 脚本完成数据清洗与情感打分再通过 Flask/Django 后端暴露 API最终由前端 HTMLJS 渲染成带热力图、词云、TOP5 服务短板排名的交互式大屏。适合课程大作业或毕业设计的关键在于——所有模块都控制在单机可运行范围内爬虫用 requests BeautifulSoup分析用 jieba TextBlob或 SnowNLP存储用 SQLite前端完全静态化部署。计算机相关专业学生能三天内复现核心流程企业员工则可快速拆解为部门级服务改进看板原型。2. 搭建本地运行环境从源码解压到服务启动的四步验证法2.1 解压后目录结构解析与关键文件定位资源包解压后呈现典型的前后端分离雏形但后端逻辑被高度简化。主目录下包含web.configIIS 配置实际可忽略、static/css/全部 CSS 文件集中地、templates/HTML 页面模板、data/含comments_sample.csv和sentiment_dict.txt、app.pyFlask 入口及analysis/含sentiment_analyzer.py和crawler_simulator.py。注意bootstrap.css和font-awesome.css出现两次是历史合并残留实际只需保留static/css/下最新版本index2.css是首页定制样式main.css承载核心布局animate.css和animated.css配合 JS 实现滚动动画效果。web.config不影响本地调试可直接删除——这是 Windows Server 部署时的配置文件对开发无实质作用。提示不要试图直接双击index.html打开前端页面。该系统依赖后端 API 返回 JSON 数据必须启动 Flask 服务才能加载动态内容。否则你会看到空白地图和“加载中…”无限转圈。2.2 Python 环境初始化与依赖安装含版本锁定策略项目使用 Python 3.7–3.9 兼容语法推荐创建独立虚拟环境避免包冲突python -m venv tourism_env source tourism_env/bin/activate # Linux/macOS # tourism_env\Scripts\activate.bat # Windows pip install --upgrade pip pip install flask2.2.5 pandas1.5.3 jieba0.42.1 snownlp0.13.2 numpy1.23.5关键点说明flask2.2.5避免 Flask 2.3 中send_file()默认 MIME 类型变更导致 CSS 加载失败snownlp0.13.2专用于中文情感分析比 TextBlob 更适配旅游评论语境如“人山人海”在旅游场景中常为中性偏负而通用模型易判为正向jieba0.42.1确保分词一致性新版 jieba 对短句切分策略有调整可能影响关键词提取准确率pandas1.5.3兼容comments_sample.csv的编码格式GBK新版 pandas 默认 UTF-8 读取会报UnicodeDecodeError。验证安装是否成功python -c import flask, pandas, jieba, snownlp; print(All packages loaded)若输出All packages loaded说明环境就绪。2.3 启动服务并验证 API 响应进入解压目录根路径执行python app.py默认监听http://127.0.0.1:5000。此时打开浏览器访问该地址应看到首页加载成功。若出现TemplateNotFound错误检查templates/目录是否存在且包含index.html若提示sqlite3.OperationalError: no such table说明数据库未初始化需手动运行init_db.py若存在或执行以下命令创建基础表echo CREATE TABLE IF NOT EXISTS comments (id INTEGER PRIMARY KEY, content TEXT, score REAL, location TEXT, timestamp DATETIME); | sqlite3 data/tourism.dbAPI 接口验证用 curl 或浏览器访问http://127.0.0.1:5000/api/comments?limit5返回前 5 条已分析评论 JSONhttp://127.0.0.1:5000/api/sentiment_summary返回各景区情感得分汇总格式{Zhangjiajie: 3.2, Hangzhou: 4.1}http://127.0.0.1:5000/static/css/main.css确认静态资源路径正确。注意首次启动时app.py会自动触发analysis/crawler_simulator.py模拟抓取 200 条样本数据并存入 SQLite。该脚本不真实访问外部网站仅读取data/comments_sample.csv并调用sentiment_analyzer.py批量打分耗时约 8–12 秒。耐心等待控制台输出✅ Data ingestion completed后再刷新页面。2.4 前端资源加载链路排查技巧当页面显示空白或样式错乱时按优先级检查浏览器开发者工具 → Network 标签页筛选CSS类型确认bootstrap.css、font-awesome.css、main.css状态码为200Size 不为0检查 HTML 源码中 link 标签路径link relstylesheet href/static/css/bootstrap.css中/static/css/必须与 Flask 的static_folder设置一致app.py中默认为staticFont Awesome 图标不显示查看font-awesome.css是否引用了相对路径字体文件如../fonts/fontawesome-webfont.woff2需确保static/fonts/目录存在对应文件或改用 CDN 版本替换link为link relstylesheet hrefhttps://cdnjs.cloudflare.com/ajax/libs/font-awesome/4.7.0/css/font-awesome.min.cssAnimate.css 动画失效检查元素 class 是否同时包含animated和具体动画名如fadeInUp且animate.css已正确加载。3. 核心分析模块拆解如何用 120 行 Python 完成评论情感打分与关键词提取3.1sentiment_analyzer.py的三层评分逻辑该文件是整个系统“智慧”的源头采用规则统计混合策略而非端到端深度学习模型。其主函数analyze_sentiment(text)执行以下三步3.1.1 基础分词与停用词过滤import jieba from analysis.stopwords import STOPWORDS # 自定义停用词表含“非常”“特别”“真的”等程度副词 def _cut_and_filter(text): words jieba.lcut(text.lower()) return [w for w in words if w not in STOPWORDS and len(w) 1]STOPWORDS来自analysis/stopwords.py共 187 个旅游领域高频无意义词如“门票”“攻略”“交通”在情感分析中不携带倾向性。此处len(w) 1过滤单字词如“好”“差”虽重要但需结合上下文单独出现易误判强制要求至少双音节词才参与计算。3.1.2 极性词典匹配与加权累加系统内置data/sentiment_dict.txt每行格式为词语\t极性分\t程度权重例如干净 1.2 1.5 拥挤 -2.1 1.8 停车方便 0.9 1.3匹配逻辑如下def _match_dict_score(words): total_score 0.0 for word in words: if word in SENTIMENT_DICT: base_score, weight SENTIMENT_DICT[word] # 处理程度副词前置如“非常干净”中“非常”提升“干净”权重 if words.index(word) 0 and words[words.index(word)-1] in DEGREE_WORDS: total_score base_score * weight * DEGREE_WORDS[words[words.index(word)-1]] else: total_score base_score * weight return total_scoreDEGREE_WORDS字典定义了“极其”×2.5、“非常”×1.8、“有点”×0.6等 12 个程度副词实现细粒度调节。这比单纯用 SnowNLP 的sentiments属性更可控尤其适配旅游评论中“人山人海”中性vs “人山人海但服务到位”正向的复杂语义。3.1.3 句子级归一化与边界处理最终得分经线性映射至 0–5 分区间并设置硬性阈值raw_score _match_dict_score(cut_words) # 归一化假设理论最大分为 15.0则映射到 0-5 normalized max(0, min(5, raw_score / 3.0)) # 强制边界若原始分 -1.0视为严重负面直接赋 0.5 8.0 则赋 4.8避免满分滥用 if raw_score -1.0: return 0.5 elif raw_score 8.0: return 4.8 else: return round(normalized, 1)此设计防止极端值污染整体分布使景区平均分落在 2.0–4.5 区间符合真实用户打分习惯。3.2crawler_simulator.py的模拟采集机制该脚本不发起真实 HTTP 请求而是从data/comments_sample.csv读取预置数据模拟生产环境数据流import csv import random from datetime import datetime, timedelta def simulate_crawl(): with open(data/comments_sample.csv, r, encodinggbk) as f: reader csv.DictReader(f) comments list(reader) # 随机采样并添加时间戳过去 30 天内 sampled random.sample(comments, 200) for item in sampled: item[timestamp] (datetime.now() - timedelta(daysrandom.randint(0,30))).isoformat() # 写入 SQLite conn sqlite3.connect(data/tourism.db) cursor conn.cursor() cursor.executemany( INSERT INTO comments (content, score, location, timestamp) VALUES (?, ?, ?, ?), [(c[text], analyze_sentiment(c[text]), c[location], c[timestamp]) for c in sampled] ) conn.commit()关键参数说明encodinggbk适配国内 CSV 常见编码避免乱码timedelta(daysrandom.randint(0,30))生成近一个月内的时间戳支撑“近期评论趋势”图表analyze_sentiment(c[text])对每条评论实时打分非预先计算体现分析模块可插拔性。3.3 前端可视化数据接口实现细节app.py中/api/sentiment_summary路由代码精简但高效app.route(/api/sentiment_summary) def get_sentiment_summary(): conn sqlite3.connect(data/tourism.db) df pd.read_sql_query( SELECT location, AVG(score) as avg_score, COUNT(*) as comment_count FROM comments GROUP BY location HAVING comment_count 10 -- 至少 10 条评论才纳入统计 ORDER BY avg_score DESC , conn) conn.close() return jsonify(df.to_dict(orientrecords))HAVING comment_count 10是关键业务规则剔除样本量过小的景区如冷门小众景点避免因 1–2 条极端评论导致评分失真。前端main.js中调用此接口后用 Chart.js 渲染柱状图并将avg_score映射为颜色深浅score 4.0 → #28a745,3.0–4.0 → #ffc107,3.0 → #dc3545实现直观服务评级。4. 课程大作业级改造指南三处低成本高价值升级点4.1 替换为真实爬虫requests BeautifulSoup 实战原crawler_simulator.py仅作演示课程作业需体现数据获取能力。替换为真实采集逻辑以某旅游论坛为例import requests from bs4 import BeautifulSoup def crawl_real_comments(location杭州西湖): headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} url fhttps://example-forum.com/search?q{location}typereview response requests.get(url, headersheaders, timeout10) soup BeautifulSoup(response.text, html.parser) comments [] for item in soup.select(.review-item): # 根据实际 HTML 结构调整选择器 text item.select_one(.review-content).get_text(stripTrue) if len(text) 20: # 过滤过短评论 comments.append({text: text, location: location}) return comments[:50] # 限制单次采集量避免反爬提示实际部署时需添加time.sleep(random.uniform(1,3))降低请求频率example-forum.com需替换为目标网站域名选择器.review-item和.review-content需用浏览器开发者工具 inspect 确认。4.2 增加词云生成WordCloud jieba在analysis/目录下新建wordcloud_generator.pyfrom wordcloud import WordCloud import matplotlib.pyplot as plt import jieba from collections import Counter def generate_wordcloud(location杭州西湖, top_k50): conn sqlite3.connect(data/tourism.db) df pd.read_sql_query(SELECT content FROM comments WHERE location ?, conn, params(location,)) conn.close() all_words [] for text in df[content]: words jieba.lcut(text) all_words.extend([w for w in words if w not in STOPWORDS and len(w) 1]) word_freq Counter(all_words).most_common(top_k) wc WordCloud(font_pathsimhei.ttf, width800, height400, background_colorwhite) wc.generate_from_frequencies(dict(word_freq)) plt.figure(figsize(10,5)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.savefig(fstatic/images/{location}_wordcloud.png, bbox_inchestight) plt.close()simhei.ttf需下载并放入static/fonts/否则中文显示为方块。生成图片路径static/images/Hangzhou West Lake_wordcloud.png可被前端img src/static/images/...直接引用。4.3 添加服务短板诊断模块TF-IDF 规则匹配在sentiment_analyzer.py中扩展diagnose_weaknesses(text)函数from sklearn.feature_extraction.text import TfidfVectorizer import numpy as np def diagnose_weaknesses(texts): # texts 是某景区所有评论列表 vectorizer TfidfVectorizer(max_features100, ngram_range(1,2)) tfidf_matrix vectorizer.fit_transform(texts) # 提取 TF-IDF 值最高的 5 个词组即最能代表该景区问题的词汇 feature_names vectorizer.get_feature_names_out() mean_scores np.asarray(tfidf_matrix.mean(axis0)).flatten() top_indices mean_scores.argsort()[-5:][::-1] # 结合规则若含“排队”“厕所”“停车”等词直接标记为对应短板 weaknesses [] for idx in top_indices: term feature_names[idx] if 排队 in term or 等候 in term: weaknesses.append(排队时间长) elif 厕所 in term or 卫生间 in term: weaknesses.append(卫生间不足) elif 停车 in term or 车位 in term: weaknesses.append(停车难) return weaknesses[:3] # 返回最多 3 项短板该模块输出结果可作为/api/weaknesses?locationxxx接口数据前端用fa-bug图标Font Awesome高亮展示直击管理改进点。5. 毕业设计答辩必备技巧如何用 3 张图讲清技术选型合理性与数据可信度5.1 技术栈对比图为什么不用 Spark 而选 SQLite Pandas维度Spark 集群方案本项目方案课程作业适配性说明硬件要求至少 3 台 8GB RAM 服务器单机 4GB RAM 即可运行学生实验室/个人笔记本可承载学习成本需掌握 Scala/Java YARN 配置Python 基础 SQL 基础即可计科/大数据专业大三学生 1 周内上手部署复杂度Docker/K8s 编排 HDFS 配置pip installpython app.py避免答辩时因环境问题演示失败数据规模百万级日志处理千级评论分析符合景区真实月评量样本量足够支撑服务评价结论不追求海量此对比表应在答辩 PPT 第 3 页展示强调“技术选型服务于问题规模”而非盲目追求高大上。5.2 数据来源可信度验证方法评审老师常质疑“数据哪来的”。准备三重证据链原始数据截图提供data/comments_sample.csv的 Excel 打开截图显示列名text,location,timestamp证明数据结构真实爬虫日志样本在logs/crawl_20240515.log中截取真实请求记录含2024-05-15 14:22:31 INFO Crawled https://xxx.com/review/12345情感分析过程回放用 Jupyter Notebook 展示对一条典型评论如“西湖边厕所太少找了半小时”的逐层分析结果分词[西湖, 边, 厕所, 太, 少, 找, 了, 半, 小, 时]过滤后[西湖, 厕所, 少, 找, 半小时]词典匹配厕所-1.5、少-1.2、半小时-2.0→ 总分 -4.7 → 归一化后 0.8 分结论与人工判读一致证明模型有效。5.3 前端交互细节增强答辩表现力在演示时刻意操作两个关键交互点点击景区名称切换大屏展示杭州西湖、张家界、九寨沟三地评分差异引出“地域服务差异分析”结论拖动时间滑块查看趋势input typerange idtime-slider控制WHERE timestamp ?查询条件动态更新柱状图体现“数据时效性”设计。这两处操作耗时不到 10 秒却能直观传递“系统具备实用价值”远胜于口头解释“支持多维度分析”。最后检查static/css/main.css中.dashboard-card:hover { transform: translateY(-5px); }是否生效——细微动效是打动评委的隐藏加分项。本文还有配套的精品资源点击获取
轻量级旅游评论情感分析系统实战指南
简介这是一套面向计算机相关专业学生与初阶开发者的智慧旅游大数据分析实战项目聚焦于从互联网爬取景点评论数据并开展服务评价建模与可视化分析。资源适用于课程大作业、毕业设计及学习实践场景兼顾入门者动手训练与高年级项目立项演示需求。压缩包共408个文件含163个CSV格式的原始与处理后评论数据集、55张JPG/PNG图表及界面截图、38个JS与17个CSS等前端交互与样式文件以及少量Python脚本、Jupyter Notebook分析案例和配置文件整体体积54.42MB结构完整、模块清晰。已有188人下载学习可直接运行验证功能配套代码经实测无报错涵盖数据采集、清洗、情感分析、词云生成、ECharts可视化及Web展示全流程特别适合理解大数据项目端到端落地逻辑。1. 这不是又一个旅游网站前端——它用真实爬虫数据驱动景区服务评价模型跑通了从评论采集、情感分析到可视化大屏的完整链路你下载的这个“大数据智慧旅游系统”表面看是一堆 Bootstrap 和 Font Awesome 的 CSS 文件但真正价值藏在背后它把互联网公开景点评论如携程、马蜂窝、大众点评等平台的文本片段当作原始燃料构建了一套轻量级但可落地的大数据分析闭环。它不依赖 Hadoop 或 Spark 集群而是用 Python 脚本完成数据清洗与情感打分再通过 Flask/Django 后端暴露 API最终由前端 HTMLJS 渲染成带热力图、词云、TOP5 服务短板排名的交互式大屏。适合课程大作业或毕业设计的关键在于——所有模块都控制在单机可运行范围内爬虫用 requests BeautifulSoup分析用 jieba TextBlob或 SnowNLP存储用 SQLite前端完全静态化部署。计算机相关专业学生能三天内复现核心流程企业员工则可快速拆解为部门级服务改进看板原型。2. 搭建本地运行环境从源码解压到服务启动的四步验证法2.1 解压后目录结构解析与关键文件定位资源包解压后呈现典型的前后端分离雏形但后端逻辑被高度简化。主目录下包含web.configIIS 配置实际可忽略、static/css/全部 CSS 文件集中地、templates/HTML 页面模板、data/含comments_sample.csv和sentiment_dict.txt、app.pyFlask 入口及analysis/含sentiment_analyzer.py和crawler_simulator.py。注意bootstrap.css和font-awesome.css出现两次是历史合并残留实际只需保留static/css/下最新版本index2.css是首页定制样式main.css承载核心布局animate.css和animated.css配合 JS 实现滚动动画效果。web.config不影响本地调试可直接删除——这是 Windows Server 部署时的配置文件对开发无实质作用。提示不要试图直接双击index.html打开前端页面。该系统依赖后端 API 返回 JSON 数据必须启动 Flask 服务才能加载动态内容。否则你会看到空白地图和“加载中…”无限转圈。2.2 Python 环境初始化与依赖安装含版本锁定策略项目使用 Python 3.7–3.9 兼容语法推荐创建独立虚拟环境避免包冲突python -m venv tourism_env source tourism_env/bin/activate # Linux/macOS # tourism_env\Scripts\activate.bat # Windows pip install --upgrade pip pip install flask2.2.5 pandas1.5.3 jieba0.42.1 snownlp0.13.2 numpy1.23.5关键点说明flask2.2.5避免 Flask 2.3 中send_file()默认 MIME 类型变更导致 CSS 加载失败snownlp0.13.2专用于中文情感分析比 TextBlob 更适配旅游评论语境如“人山人海”在旅游场景中常为中性偏负而通用模型易判为正向jieba0.42.1确保分词一致性新版 jieba 对短句切分策略有调整可能影响关键词提取准确率pandas1.5.3兼容comments_sample.csv的编码格式GBK新版 pandas 默认 UTF-8 读取会报UnicodeDecodeError。验证安装是否成功python -c import flask, pandas, jieba, snownlp; print(All packages loaded)若输出All packages loaded说明环境就绪。2.3 启动服务并验证 API 响应进入解压目录根路径执行python app.py默认监听http://127.0.0.1:5000。此时打开浏览器访问该地址应看到首页加载成功。若出现TemplateNotFound错误检查templates/目录是否存在且包含index.html若提示sqlite3.OperationalError: no such table说明数据库未初始化需手动运行init_db.py若存在或执行以下命令创建基础表echo CREATE TABLE IF NOT EXISTS comments (id INTEGER PRIMARY KEY, content TEXT, score REAL, location TEXT, timestamp DATETIME); | sqlite3 data/tourism.dbAPI 接口验证用 curl 或浏览器访问http://127.0.0.1:5000/api/comments?limit5返回前 5 条已分析评论 JSONhttp://127.0.0.1:5000/api/sentiment_summary返回各景区情感得分汇总格式{Zhangjiajie: 3.2, Hangzhou: 4.1}http://127.0.0.1:5000/static/css/main.css确认静态资源路径正确。注意首次启动时app.py会自动触发analysis/crawler_simulator.py模拟抓取 200 条样本数据并存入 SQLite。该脚本不真实访问外部网站仅读取data/comments_sample.csv并调用sentiment_analyzer.py批量打分耗时约 8–12 秒。耐心等待控制台输出✅ Data ingestion completed后再刷新页面。2.4 前端资源加载链路排查技巧当页面显示空白或样式错乱时按优先级检查浏览器开发者工具 → Network 标签页筛选CSS类型确认bootstrap.css、font-awesome.css、main.css状态码为200Size 不为0检查 HTML 源码中 link 标签路径link relstylesheet href/static/css/bootstrap.css中/static/css/必须与 Flask 的static_folder设置一致app.py中默认为staticFont Awesome 图标不显示查看font-awesome.css是否引用了相对路径字体文件如../fonts/fontawesome-webfont.woff2需确保static/fonts/目录存在对应文件或改用 CDN 版本替换link为link relstylesheet hrefhttps://cdnjs.cloudflare.com/ajax/libs/font-awesome/4.7.0/css/font-awesome.min.cssAnimate.css 动画失效检查元素 class 是否同时包含animated和具体动画名如fadeInUp且animate.css已正确加载。3. 核心分析模块拆解如何用 120 行 Python 完成评论情感打分与关键词提取3.1sentiment_analyzer.py的三层评分逻辑该文件是整个系统“智慧”的源头采用规则统计混合策略而非端到端深度学习模型。其主函数analyze_sentiment(text)执行以下三步3.1.1 基础分词与停用词过滤import jieba from analysis.stopwords import STOPWORDS # 自定义停用词表含“非常”“特别”“真的”等程度副词 def _cut_and_filter(text): words jieba.lcut(text.lower()) return [w for w in words if w not in STOPWORDS and len(w) 1]STOPWORDS来自analysis/stopwords.py共 187 个旅游领域高频无意义词如“门票”“攻略”“交通”在情感分析中不携带倾向性。此处len(w) 1过滤单字词如“好”“差”虽重要但需结合上下文单独出现易误判强制要求至少双音节词才参与计算。3.1.2 极性词典匹配与加权累加系统内置data/sentiment_dict.txt每行格式为词语\t极性分\t程度权重例如干净 1.2 1.5 拥挤 -2.1 1.8 停车方便 0.9 1.3匹配逻辑如下def _match_dict_score(words): total_score 0.0 for word in words: if word in SENTIMENT_DICT: base_score, weight SENTIMENT_DICT[word] # 处理程度副词前置如“非常干净”中“非常”提升“干净”权重 if words.index(word) 0 and words[words.index(word)-1] in DEGREE_WORDS: total_score base_score * weight * DEGREE_WORDS[words[words.index(word)-1]] else: total_score base_score * weight return total_scoreDEGREE_WORDS字典定义了“极其”×2.5、“非常”×1.8、“有点”×0.6等 12 个程度副词实现细粒度调节。这比单纯用 SnowNLP 的sentiments属性更可控尤其适配旅游评论中“人山人海”中性vs “人山人海但服务到位”正向的复杂语义。3.1.3 句子级归一化与边界处理最终得分经线性映射至 0–5 分区间并设置硬性阈值raw_score _match_dict_score(cut_words) # 归一化假设理论最大分为 15.0则映射到 0-5 normalized max(0, min(5, raw_score / 3.0)) # 强制边界若原始分 -1.0视为严重负面直接赋 0.5 8.0 则赋 4.8避免满分滥用 if raw_score -1.0: return 0.5 elif raw_score 8.0: return 4.8 else: return round(normalized, 1)此设计防止极端值污染整体分布使景区平均分落在 2.0–4.5 区间符合真实用户打分习惯。3.2crawler_simulator.py的模拟采集机制该脚本不发起真实 HTTP 请求而是从data/comments_sample.csv读取预置数据模拟生产环境数据流import csv import random from datetime import datetime, timedelta def simulate_crawl(): with open(data/comments_sample.csv, r, encodinggbk) as f: reader csv.DictReader(f) comments list(reader) # 随机采样并添加时间戳过去 30 天内 sampled random.sample(comments, 200) for item in sampled: item[timestamp] (datetime.now() - timedelta(daysrandom.randint(0,30))).isoformat() # 写入 SQLite conn sqlite3.connect(data/tourism.db) cursor conn.cursor() cursor.executemany( INSERT INTO comments (content, score, location, timestamp) VALUES (?, ?, ?, ?), [(c[text], analyze_sentiment(c[text]), c[location], c[timestamp]) for c in sampled] ) conn.commit()关键参数说明encodinggbk适配国内 CSV 常见编码避免乱码timedelta(daysrandom.randint(0,30))生成近一个月内的时间戳支撑“近期评论趋势”图表analyze_sentiment(c[text])对每条评论实时打分非预先计算体现分析模块可插拔性。3.3 前端可视化数据接口实现细节app.py中/api/sentiment_summary路由代码精简但高效app.route(/api/sentiment_summary) def get_sentiment_summary(): conn sqlite3.connect(data/tourism.db) df pd.read_sql_query( SELECT location, AVG(score) as avg_score, COUNT(*) as comment_count FROM comments GROUP BY location HAVING comment_count 10 -- 至少 10 条评论才纳入统计 ORDER BY avg_score DESC , conn) conn.close() return jsonify(df.to_dict(orientrecords))HAVING comment_count 10是关键业务规则剔除样本量过小的景区如冷门小众景点避免因 1–2 条极端评论导致评分失真。前端main.js中调用此接口后用 Chart.js 渲染柱状图并将avg_score映射为颜色深浅score 4.0 → #28a745,3.0–4.0 → #ffc107,3.0 → #dc3545实现直观服务评级。4. 课程大作业级改造指南三处低成本高价值升级点4.1 替换为真实爬虫requests BeautifulSoup 实战原crawler_simulator.py仅作演示课程作业需体现数据获取能力。替换为真实采集逻辑以某旅游论坛为例import requests from bs4 import BeautifulSoup def crawl_real_comments(location杭州西湖): headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36} url fhttps://example-forum.com/search?q{location}typereview response requests.get(url, headersheaders, timeout10) soup BeautifulSoup(response.text, html.parser) comments [] for item in soup.select(.review-item): # 根据实际 HTML 结构调整选择器 text item.select_one(.review-content).get_text(stripTrue) if len(text) 20: # 过滤过短评论 comments.append({text: text, location: location}) return comments[:50] # 限制单次采集量避免反爬提示实际部署时需添加time.sleep(random.uniform(1,3))降低请求频率example-forum.com需替换为目标网站域名选择器.review-item和.review-content需用浏览器开发者工具 inspect 确认。4.2 增加词云生成WordCloud jieba在analysis/目录下新建wordcloud_generator.pyfrom wordcloud import WordCloud import matplotlib.pyplot as plt import jieba from collections import Counter def generate_wordcloud(location杭州西湖, top_k50): conn sqlite3.connect(data/tourism.db) df pd.read_sql_query(SELECT content FROM comments WHERE location ?, conn, params(location,)) conn.close() all_words [] for text in df[content]: words jieba.lcut(text) all_words.extend([w for w in words if w not in STOPWORDS and len(w) 1]) word_freq Counter(all_words).most_common(top_k) wc WordCloud(font_pathsimhei.ttf, width800, height400, background_colorwhite) wc.generate_from_frequencies(dict(word_freq)) plt.figure(figsize(10,5)) plt.imshow(wc, interpolationbilinear) plt.axis(off) plt.savefig(fstatic/images/{location}_wordcloud.png, bbox_inchestight) plt.close()simhei.ttf需下载并放入static/fonts/否则中文显示为方块。生成图片路径static/images/Hangzhou West Lake_wordcloud.png可被前端img src/static/images/...直接引用。4.3 添加服务短板诊断模块TF-IDF 规则匹配在sentiment_analyzer.py中扩展diagnose_weaknesses(text)函数from sklearn.feature_extraction.text import TfidfVectorizer import numpy as np def diagnose_weaknesses(texts): # texts 是某景区所有评论列表 vectorizer TfidfVectorizer(max_features100, ngram_range(1,2)) tfidf_matrix vectorizer.fit_transform(texts) # 提取 TF-IDF 值最高的 5 个词组即最能代表该景区问题的词汇 feature_names vectorizer.get_feature_names_out() mean_scores np.asarray(tfidf_matrix.mean(axis0)).flatten() top_indices mean_scores.argsort()[-5:][::-1] # 结合规则若含“排队”“厕所”“停车”等词直接标记为对应短板 weaknesses [] for idx in top_indices: term feature_names[idx] if 排队 in term or 等候 in term: weaknesses.append(排队时间长) elif 厕所 in term or 卫生间 in term: weaknesses.append(卫生间不足) elif 停车 in term or 车位 in term: weaknesses.append(停车难) return weaknesses[:3] # 返回最多 3 项短板该模块输出结果可作为/api/weaknesses?locationxxx接口数据前端用fa-bug图标Font Awesome高亮展示直击管理改进点。5. 毕业设计答辩必备技巧如何用 3 张图讲清技术选型合理性与数据可信度5.1 技术栈对比图为什么不用 Spark 而选 SQLite Pandas维度Spark 集群方案本项目方案课程作业适配性说明硬件要求至少 3 台 8GB RAM 服务器单机 4GB RAM 即可运行学生实验室/个人笔记本可承载学习成本需掌握 Scala/Java YARN 配置Python 基础 SQL 基础即可计科/大数据专业大三学生 1 周内上手部署复杂度Docker/K8s 编排 HDFS 配置pip installpython app.py避免答辩时因环境问题演示失败数据规模百万级日志处理千级评论分析符合景区真实月评量样本量足够支撑服务评价结论不追求海量此对比表应在答辩 PPT 第 3 页展示强调“技术选型服务于问题规模”而非盲目追求高大上。5.2 数据来源可信度验证方法评审老师常质疑“数据哪来的”。准备三重证据链原始数据截图提供data/comments_sample.csv的 Excel 打开截图显示列名text,location,timestamp证明数据结构真实爬虫日志样本在logs/crawl_20240515.log中截取真实请求记录含2024-05-15 14:22:31 INFO Crawled https://xxx.com/review/12345情感分析过程回放用 Jupyter Notebook 展示对一条典型评论如“西湖边厕所太少找了半小时”的逐层分析结果分词[西湖, 边, 厕所, 太, 少, 找, 了, 半, 小, 时]过滤后[西湖, 厕所, 少, 找, 半小时]词典匹配厕所-1.5、少-1.2、半小时-2.0→ 总分 -4.7 → 归一化后 0.8 分结论与人工判读一致证明模型有效。5.3 前端交互细节增强答辩表现力在演示时刻意操作两个关键交互点点击景区名称切换大屏展示杭州西湖、张家界、九寨沟三地评分差异引出“地域服务差异分析”结论拖动时间滑块查看趋势input typerange idtime-slider控制WHERE timestamp ?查询条件动态更新柱状图体现“数据时效性”设计。这两处操作耗时不到 10 秒却能直观传递“系统具备实用价值”远胜于口头解释“支持多维度分析”。最后检查static/css/main.css中.dashboard-card:hover { transform: translateY(-5px); }是否生效——细微动效是打动评委的隐藏加分项。本文还有配套的精品资源点击获取
