简介这套基于PythonSpark的汽车推荐系统毕业设计资料包面向计算机相关专业学生、教师及企业开发者适合用于毕业答辩、课程设计、项目演示或初学大数据推荐系统的进阶练习。压缩包共29个文件、约7.99MB核心代码包含Python爬虫脚本、Scala的RDD算子示例和Java工具类另有README文档、项目授权码及23张PNG运行效果与架构截图。目前已有127人浏览/学习该项目由个人开发完成并获导师认可答辩评分达95分代码均测试运行成功可放心用于实践。除了完整的推荐系统实现还包含授权码和过程性截图便于对照学习数据采集、Spark处理、推荐逻辑与可视化大屏展示若基础较好可在现有代码上扩展或改造适合作为大数据方向毕设的直接底稿也适合小白逐步进阶。1. 汽车推荐系统毕业设计为什么是 Spark ALS 这条路做毕业设计选推荐系统方向的人不少但大多卡在同一个点算法能跑通却答不上来数据从哪来、结果怎么存、大屏怎么接。这份基于 Python Spark 的汽车推荐系统资源恰好把整条链路补齐了——爬虫采集汽车数据、Spark 做离线清洗和评分矩阵构建、ALS 协同过滤产出 TopN 推荐、Redis 缓存结果、前端大屏做可视化展示。它不是只给你一个算法 notebook而是一个能直接答辩的完整项目。适合正在做大数据方向毕设的学生也适合想快速理解推荐系统落地方案的开发者。以下内容基于这个项目展开我不只讲它有什么更会拆开每个模块的参数、坑点和验证方法。2. 系统架构与数据链路从爬虫到大屏的六层流转拿到这个资源包别急着跑代码先把项目里的drawio.png架构图打开对照 README 里的模块说明理清数据流转。整个系统是典型的离线推荐架构不是实时推荐所以对 Spark 集群的压力并不大单机伪分布式也能跑完。2.1 模块拆解与数据流转从汽车之家到 MySQL 的数仓底座我按数据流把项目拆成六层每一层对应资源包里的一个具体文件。这样你答辩讲架构的时候能顺着数据走而不是背概念。数据源层crawler.py负责抓取汽车网站数据。抓取字段包括车型名称、品牌、指导价、排量、油耗、变速箱类型、车身结构等。为什么选这些字段因为后面 ALS 做协同过滤时特征工程和质量分映射都要用到。存储层MySQL 建三张核心表——car_info汽车信息表、user_info用户信息表、user_rating用户评分表。注意评分表不是爬来的是根据用户行为日志映射出来的后面 3.1 节会细说。加工层Spark 读 MySQL 原始数据做清洗转换生成 ALS 需要的评分矩阵。ReduceByKeySortRddDemo.scala就是在这个阶段用来验证聚合逻辑的比如按品牌统计评分数量、按价格区间统计车型分布。算法层PySpark 的 ALS 协同过滤训练模型产出uid - [(car_id, score)]的 TopN 推荐列表。缓存层JedisUtil.java把推荐结果写入 Rediskey 设计为rec:user:{uid}value 是 JSON 数组设置 12 小时过期。展示层大屏页面通过后端接口读 Redis把推荐结果和统计图表渲染到前端。大屏.png展示的就是最终效果包含品牌销量排行、价格分布、评分热力图和推荐命中率四块。2.2 关键组件选型为什么是 Spark 而非纯 Python很多人问推荐系统用纯 Python 写不就完了为什么非要上 Spark。这个项目选 Spark 主要有三个理由你需要能在答辩时讲明白。第一数据量层面的说服力。毕设数据量虽然不大但架构要体现大数据思维。Spark 的 RDD 和 DataFrame 抽象让评分矩阵的分布式计算变得自然。你可以在答辩时说如果数据增长到千万级评分单机 Pandas 的groupby会直接卡死而 Spark 可以通过分区把计算分散到集群。第二ALS 是 Spark MLlib 的成熟实现。Spark 的ALS.train封装了交替最小二乘的完整迭代逻辑自动处理分布式矩阵分解你不需要手写梯度下降。这对毕设来说是加分项因为你可以把精力放在调参和工程落地而不是重新造轮子。第三项目资源包里的ReduceByKeySortRddDemo.scala展示了 Spark 的算子能力——reduceByKey做聚合、sortByKey做排序这个 Demo 在答辩时可以作为我掌握 Spark 核心算子的佐证。选型方面有一个判断要提醒你如果你只用ALS.train跑一个模型没有前面的爬虫、清洗、Redis 缓存和大屏那这就是一个算法课设不是大数据毕设。这个项目好就好在链路完整所以你不应该跳过任何一个模块。2.3 集群还是单机伪分布式部署的参数选择资源包带的是标准 Spark 项目结构没有强制要求你必须有集群。我用单机伪分布式跑过完全没问题但你得在环境配置上注意三个点。Spark 以local 模式运行时setMaster(local[*])就可以*代表使用所有可用核心。如果你想体现分布式特性可以用spark-submit提交到独立集群这时要调 Executor 参数spark-submit \ --master spark://node01:7077 \ --executor-memory 4g \ --executor-cores 2 \ --num-executors 2 \ --driver-memory 2g \ car_recommend.py参数含义说明一下--executor-memory是每个 Executor 的堆内存ALS 迭代时每个分区要缓存用户向量和物品向量4g 是保守值--executor-cores是每个 Executor 的核数ALS 的矩阵分解是 CPU 密集型任务2 核比较合理--num-executors是 Executor 数量和评分矩阵的大小相关评分量在万级时 2 个够了。如果你只是本机验证直接setMaster(local[4])即可不要硬搭集群。3. 推荐引擎核心ALS 协同过滤的参数选型和调优实录ALSAlternating Least Squares是整个系统的算法核心也是答辩时导师大概率追问的地方。这一章我把数学直觉、Spark 实现、参数调优完整拆开。3.1 ALS 的数学直觉与 Spark 实现隐因子是怎么逼出来的ALS 做的事情可以这样理解建立一个用户-汽车评分矩阵 Rm×n矩阵分解成用户因子矩阵 Um×k和汽车因子矩阵 Vn×k使得 U 和 V 的乘积能近似还原 R。这里的 k 就是隐因子数量。隐因子是什么在这个汽车项目里k 个因子可能就是空间表现动力性能燃油经济性智能配置品牌溢价这类无法直接打分但真实存在的维度。ALS 的巧妙之处在于你不必告诉它这些因子是什么它通过交替固定 U 优化 V、固定 V 优化 U 的迭代方式自动把因子逼出来。在 Spark 中实现这一过程核心代码长这样from pyspark.ml.recommendation import ALS from pyspark.sql import SparkSession spark SparkSession.builder \ .appName(CarALS) \ .master(local[4]) \ .getOrCreate() # 读评分数据uid, car_id, rating1~5分 ratings spark.read \ .option(header, True) \ .option(inferSchema, True) \ .csv(data/ratings.csv) # 构建 ALS 模型 als ALS( userColuid, itemColcar_id, ratingColrating, rank15, # 隐因子数量 maxIter10, # 最大迭代次数 regParam0.05, # 正则化系数 coldStartStrategydrop, # 冷启动处理 implicitPrefsFalse, # 显式反馈 alpha1.0 # 隐式反馈置信度显式时可忽略 ) model als.fit(ratings) # 为所有用户推荐 Top 10 user_recs model.recommendForAllUsers(10) user_recs.show(5, truncateFalse)逻辑说明这段代码先创建 SparkSession然后从 CSV 读入评分数据生成 DataFrame交给 ALS 训练。recommendForAllUsers(10)会为每个用户输出包含汽车 ID 和预测评分的 TopN 列表。参数说明rank15是一个起始值隐因子太少会欠拟合太多会过拟合且训练时间暴涨maxIter10指 ALS 交替迭代 10 轮每轮同时更新用户因子矩阵和物品因子矩阵regParam0.05是 L2 正则系数防止某辆车因为评分人数太少导致因子向量被极端值带偏coldStartStrategydrop表示对评分矩阵中缺失的用户或物品不预测而是直接丢弃。这个参数如果不设默认会返回 NaN 预测值导致下游 Redis 存储出现空数据。还要注意implicitPrefsFalse的含义。这个项目的评分表是基于用户行为映射出来的显式评分浏览 3 分、收藏 4 分、询价 5 分所以是显式反馈。如果你后续改成基于点击次数做推荐才需要把implicitPrefs设为 True并加大alpha置信度增益。3.2 参数真值表与调优顺序rank、iterations、lambda 到底先动哪个ALS 调参是典型的先调大方向、再抠细节。我总结了一张参数优先级表也是我调这个项目时的顺序优先级参数影响我的建议值判断依据1rank模型容量决定隐因子数量10~50训练集 RMSE 下降是否平稳2maxIter迭代轮数决定收敛程度10~20观察 loss 曲线是否还有平台期3regParam防止过拟合的强度0.01~0.1验证集 RMSE 是否回升4alpha隐式反馈置信度1.0~3.0只在 implicitPrefsTrue 时调为什么先调rank因为 rank 决定了模型的表达能力上限。如果你用 rank5 训练了 20 轮RMSE 还是降不下来那不是在加迭代次数能解决的而是因子数量不够表达用户偏好。我一般先用 rank15 跑一版看训练集 RMSE 目标值一般目标 0.8~1.0如果训练集 RMSE 已经很高说明 rank 偏低。maxIter的调法也讲一下。ALS 是交替迭代每轮固定一边矩阵、优化另一边。前几轮 loss 下降明显后面会进入平台期。你在 Spark UI 的 Stages 页面能看到每个迭代轮的执行时间如果第 8 轮和第 9 轮的 loss 几乎没变化就可以停了没必要硬等 20 轮。调参时建议用参数网格搜索跑一轮自动化调优代码参考这样from pyspark.ml.tuning import ParamGridBuilder, CrossValidator from pyspark.ml.evaluation import RegressionEvaluator # 构建参数网格 param_grid ParamGridBuilder() \ .addGrid(als.maxIter, [5, 10, 15]) \ .addGrid(als.regParam, [0.01, 0.05, 0.1]) \ .addGrid(als.rank, [10, 15, 20]) \ .build() evaluator RegressionEvaluator( metricNamermse, labelColrating, predictionColprediction ) crossval CrossValidator( estimatorals, estimatorParamMapsparam_grid, evaluatorevaluator, numFolds3 ) cv_model crossval.fit(ratings)逻辑说明这个网格会组合出 27 种参数组合各跑 3 折交叉验证最后选出在验证集 RMSE 最低的参数组合。RegressionEvaluator的rmse是回归任务的标准评估指标对 ALS 来说预测评分和真实评分的均方根误差越低越好。3.3 冷启动与兜底策略评分矩阵稀疏时的降级方案ALS 最大的软肋是冷启动。毕设项目里用户评分数据往往不多比如一个用户只给 2~3 辆车打过评分ALS 很难捕捉他的偏好。资源包的数据里有一个用户活跃度和评分分布的分析图无标题.png里的散点图你可以看到大量用户在低活跃区间。这种情况下推荐结果的质量会显著下降甚至出现推荐了用户完全没接触过的车型这种看起来离谱的输出。常见做法是设计兜底策略我建议你在项目里加一层降级逻辑场景策略数据来源用户无任何评分全局热门 TopN按平均分评分数排序用户评分 3 条基于车型相似度的推荐同品牌同价格区间车型用户评分 3 条ALS 协同过滤推荐模型预测输出兜底代码实现可以在推荐接口层加判断def get_recommendations(uid, rating_count): # 评分充足走 ALS 预测 if rating_count 3: recs redis_client.get(frec:user:{uid}) if recs: return recs # Redis 没有重新算 return als_predict(uid) # 评分不足走热门兜底 return hot_cars_top_n(20)这样设计的好处是你在答辩时能明确说出我处理了冷启动问题而不是只回答 ALS 的原理。导师非常看重这种工程意识。4. 数据采集与预处理爬虫、Spark 清洗与 Redis 缓存落地推荐系统没有数据就是空中楼阁。这一章拆解数据采集、清洗入库、缓存读写三个环节每一段代码都能直接在项目中找到对应文件。4.1 crawler.py 的抓取与入库请求伪装、字段解析、增量更新资源包里的crawler.py是爬虫模块。汽车网站的列表页和详情页结构相对规整我这里给出核心抓取框架你对照项目的完整脚本就能理解每一段的作用import requests from bs4 import BeautifulSoup import pymysql HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Referer: https://www.autohome.com.cn/ } def fetch_car_list(page_url): resp requests.get(page_url, headersHEADERS, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, html.parser) cars [] for item in soup.select(.list-cont): car { brand: item.select_one(.brand-name).text.strip(), model: item.select_one(.model-name).text.strip(), price: parse_price(item.select_one(.price).text), displacement: parse_displacement(item.select_one(.param-displacement).text), fuel_consumption: parse_consumption(item.select_one(.param-fuel).text) } cars.append(car) return cars def save_to_mysql(cars): conn pymysql.connect( hostlocalhost, userroot, password123456, databasecar_recommend, charsetutf8mb4 ) cursor conn.cursor() sql INSERT INTO car_info (brand, model, price, displacement, fuel_consumption, created_at) VALUES (%s, %s, %s, %s, %s, NOW()) ON DUPLICATE KEY UPDATE price VALUES(price), fuel_consumption VALUES(fuel_consumption) cursor.executemany(sql, cars) conn.commit() cursor.close() conn.close()逻辑说明fetch_car_list用 BeautifulSoup 解析列表页提取品牌、车型、价格、排量、油耗五个核心字段save_to_mysql做增量写入用ON DUPLICATE KEY UPDATE实现重复数据的自动更新。参数说明HEADERS里的User-Agent必须模拟真实浏览器否则对方反爬策略会拒绝响应Referer设置为网站自身域名绕过部分防盗链校验。timeout10是请求超时网络抖动时避免线程挂死。数据库连接串里的charsetutf8mb4必须带上否则中文车名会变成问号这是常见的编码坑。抓取频率建议加time.sleep(random.uniform(1, 3))这是每个爬虫都应该有的基本素质也方便你在答辩时说清楚自己注意到了请求频率控制。4.2 Spark 清洗与数据探查ReduceByKeySortRddDemo.scala 在验证什么ReduceByKeySortRddDemo.scala这个文件名字看着像一个独立 Demo实际上它在项目里承担了数据探查的功能。你要理解它的作用就要知道清洗流程中一个关键检查评分数据分布是否健康。评分数据不健康有两种常见情况一种是某些品牌的汽车被评分次数极多另一种是大量汽车只有 1~2 条评分。这两种情况都直接影响 ALS 的泛化能力。ReduceByKeySortRddDemo.scala就是用来统计品牌评分量的import org.apache.spark.sql.SparkSession val spark SparkSession.builder() .appName(ReduceByKeySortRddDemo) .master(local[4]) .getOrCreate() val sc spark.sparkContext // 读取评分 CSV每行格式uid, car_id, rating val ratings sc.textFile(data/ratings.csv) .filter(line !line.startsWith(uid)) .map { line val parts line.split(,) (parts(1), 1) // (brand_car_id, 1) } // 按车型聚合评分数量再按数量降序排列 val countByCar ratings .reduceByKey(_ _) .map(_.swap) .sortByKey(ascending false) countByCar.take(20).foreach(println)逻辑说明reduceByKey按车型聚合出评分数量map(_.swap)把键值交换以便按数量排序sortByKey(false)得到评分最多的 Top 20 车型。打印出来的结果就是数据探查报告。为什么要做这个验证因为如果头部车型垄断了 80% 的评分ALS 会偏向为热销车型打高分尾部车型几乎没有被推荐的机会——这就是所谓的热门偏见。你可以在清洗阶段按以下规则处理对评分数量小于 5 的车型可以考虑丢弃或者采用加权策略降低低评分数量车型的置信度。4.3 Redis 缓存热数据JedisUtil 的接入姿势推荐结果是重计算数据不可能每次请求都重新跑 ALS。项目使用 Jedis 写入 Redis 作为缓存JedisUtil.java里封装了连接池。接入姿势如下import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; public class JedisUtil { private static final JedisPool POOL; static { JedisPoolConfig config new JedisPoolConfig(); config.setMaxTotal(50); // 最大连接数 config.setMaxIdle(10); // 最大空闲连接 config.setMinIdle(5); // 最小空闲连接 config.setMaxWaitMillis(3000); // 获取连接超时时间 // 连接本地 Redis默认端口 6379 POOL new JedisPool(config, localhost, 6379, 10000, yourpassword); } public static String get(String key) { try (Jedis jedis POOL.getResource()) { return jedis.get(key); } } public static void setex(String key, int seconds, String value) { try (Jedis jedis POOL.getResource()) { jedis.setex(key, seconds, value); } } }参数说明setMaxTotal(50)是连接池最大连接数推荐接口的 QPS 不高50 足够setex里的seconds是你设置的过期时间项目里我建议设4320012 小时这样每天凌晨 Spark 离线任务重算推荐结果时会自动刷新缓存。这里有一个细节值得注意ALS 模型训练完把推荐结果写入 Redis 时建议加一个版本号比如 key 设为rec:user:{uid}:v2。为什么因为模型重新训练后推荐结果可能变化如果你还在用旧的 key前端展示的数据和模型产出的数据就对不上了。加版本号可以优雅地切换新旧数据也是答辩时可以提的工程点。5. 避坑指南ALS 调优、数据倾斜与集群资源的三类实战排查这个项目我实际跑过不止一遍遇到的坑不少挑最有代表性的五条写在这里。每一条都是现象 → 原因 → 解决的结构照着排查就能定位。5.1 现象一ALS 训练时 Executor 直接 OOM跑model.fit(ratings)的时候Spark UI 显示某个 Executor 的 Storage Memory 被打满然后报java.lang.OutOfMemoryError整个任务失败。原因评分矩阵被广播到 Executor 时ALS 会在每个分区缓存一份用户因子矩阵和物品因子矩阵。当rank设置偏大比如 50同时分区数设置偏高时中间结果占用的内存会成倍增长。解决降低分区数同时限制rank的上限。代码里在读取数据后加一个repartition(4)强制将数据重分为 4 个分区。另外把rank从 50 降到 20内存占用会显著下降。如果还不行检查 Spark 配置spark.memory.fraction默认 0.6可以调低到 0.5给预留内存更多空间。5.2 现象二推荐结果全是同一个品牌多样性极差用户收到的 Top 10 推荐里8 辆都是丰田看起来非常诡异。原因评分数据严重倾斜丰田系车型的评分数量远大于其他品牌。ALS 在这种数据下学到的物品因子向量偏向高频物品导致推荐列表聚集在头部品牌。解决清洗阶段加一个评分数量下限过滤——低于 5 条评分的车型仍然参与建模但高于某阈值的车型要降采样或者限制其评分权重。我用的办法是直接对物品侧加idf加权评分数量越多的物品权重越低。这个手段在答辩时可以讲成对热门物品做了降权处理。5.3 现象三新用户没有评分ALS 预测返回 NaN给一个只有 2 条评分记录的用户调用model.transform或recommendForUserSubset返回结果是 NaN 预测值导致 Redis 存储失败。原因coldStartStrategy没设置Spark 默认对缺失的用户或物品返回 NaN。解决在 ALS 参数里明确设置coldStartStrategydrop这样 Spark 会跳过无法预测的样本而不是返回 NaN。5.4 现象四MySQL 读出来中文全是问号爬虫抓取的数据入库后查询car_info表所有中文车名都变成????。原因建表时字符集不是 utf8mb4或者 JDBC 连接串里没有声明characterEncodingutf-8。解决建表语句必须包含DEFAULT CHARSETutf8mb4同时在 JDBC 连接串里加上?useUnicodetruecharacterEncodingutf8。注意是 utf8mb4 而不是 utf8因为部分冷门车名包含特殊 Unicode 字符utf8 存不下。5.5 现象五spark-submit 提交后 Driver 端 GC 卡死任务不执行集群模式下任务提交后NameNode 和 Executor 都正常但 Driver 日志疯狂打印 GC 信息任务始终不进入 RUNNING 状态。原因--driver-memory设太小而 ALS 的recommendForAllUsers(10)阶段需要把所有用户因子和物品因子拉回 Driver 做聚合排序。解决把--driver-memory从 1g 调到 3g或者改用recommendForUserSubset只对活跃用户生成推荐避免全量聚合。6. 推荐质量验证离线评估与 Redis 缓存的双重确认推荐系统做完不等于验收通过你得用数字证明模型靠谱。这一章落在验证方法上这是最容易被忽略但对答辩最有用的部分。6.1 离线评估RMSE、召回率、覆盖率三个数字交叉验证ALS 是回归模型最基本的指标是 RMSE。但只报 RMSE 不够因为 RMSE 低不代表推荐列表好用。我建议你同时算召回率和覆盖率。import math from pyspark.ml.evaluation import RegressionEvaluator # 在测试集上评估 RMSE evaluator RegressionEvaluator( metricNamermse, labelColrating, predictionColprediction ) rmse evaluator.evaluate(predictions) print(fTest RMSE {rmse:.4f}) # 计算 Top 10 召回率按用户平均 def precision_recall_at_k(recommendations, test_ratings, k10): hits 0 total_test 0 for uid, rec_cars in recommendations: test_cars set(test_ratings.filter(test_ratings.uid uid).select(car_id).rdd.map(lambda r: r.car_id).collect()) rec_cars_set set([r.car_id for r in rec_cars[:k]]) hits len(rec_cars_set test_cars) total_test len(test_cars) recall hits / max(total_test, 1) return recall这份代码的作用是RMSE 只衡量评分预测的准确性而召回率衡量用户真正感兴趣的汽车有多大比例出现在我的 Top10 推荐里。建议你跑完以后记录一个三指标表RMSE 控制在 1.0 以下召回率在 0.1~0.3 属于正常范围覆盖率在 50% 以上说明推荐没有集中在头部。6.2 把推荐结果推进 Redis 后的验证顺序模型验证通过后你需要在本地完整走一遍链路顺序非常重要。我每次都会强制按这个流程走少一步都可能出问题确认 Redis 服务可用ping返回PONG执行推荐脚本控制台输出Success write to Redis手动查一个用户 keyrec:user:{uid}确认存在且有 JSON 数据启动后端服务访问推荐接口看返回耗时打开大屏页面验证渲染数据是否来自 Redis 而非模型实时计算。我从第一次跑翻车得到的一条血泪教训是每换一次模型参数都要重新确认rec:user:{uid}:v2这类版本号 key 已生效而不是在后端接口里用 v1 的旧数据自我感动。从那以后我每次调完参都会强制走一遍上面的五步验证流程。推荐系统这种项目最容易翻车的地方从来不在算法原理而在数据链路的某一环悄悄断裂。希望这一套拆解能帮你在毕设或学习路上少踩几个坑。本文还有配套的精品资源点击获取
` 是 Python 文件对象的一个方法，用于按指定大小截断文件)
