简介推荐系统是个性化服务中的核心组件普遍应用于电商、视频、新闻等内容分发平台。协同过滤是推荐系统最基础的算法范式它不依赖任何内容特征仅通过用户与物品的交互矩阵捕捉偏好规律原理简洁且易于实现兼具学术价值与工程落地可行性。基于用户的协同过滤UserCF和基于物品的协同过滤ItemCF分别从“相似人群”和“相似物品”两个视角生成推荐而矩阵分解SVD则进一步通过隐因子建模提升评分预测精度。这些算法已广泛用于电影推荐等典型场景例如MovieLens公开数据集上的离线评估与TopK推荐。理解协同过滤的数学特性、编程实现与评估指标体系是构建一个高质量推荐系统的关键路径。本文以电影推荐为实例围绕算法选型、数据表设计、Python代码实现和论文实验对比完整梳理一个从原始数据到可运行原型的工程方案为毕业设计或快速搭建Demo提供直接参考。1. 基于协同过滤的电影推荐系统从毕设选题到可落地的完整技术栈每年毕业季都能看到大量“电影推荐系统”题目但真正能拿到高分的设计往往不是把算法论文复现一遍而是把数据、算法、工程和论文串成一条完整证据链。协同过滤是推荐系统里最经典的起点它不依赖内容特征只靠用户与物品的交互矩阵就能生成推荐非常适合在没有外部知识库的情况下独立完成。这决定了它既是课程设计的热门也是面试时最容易被追问细节的领域。这篇文章解决的是“从 zip 里的源码到答辩台上的高分论文”之间缺口。我会用一个真实可运行的路径把基于用户的协同过滤、基于物品的协同过滤和矩阵分解三种主流思路讲透再落到数据库表结构、Python 实现、离线评估和论文写作具体步骤。你不需要提前读过原论文或下载某个特定源码包只需要跟着这套方案自己动手拼出完整项目。适合正在做毕设的本科生也适合想快速搭建一个可演示原型的一线工程师。2. 协同过滤算法选型基于用户、基于物品与矩阵分解的适用边界协同过滤的核心假设是“相似的人有相似偏好相似物品会获得相似评价”。但同样是协同过滤基于用户、基于物品、矩阵分解三者的计算目标完全不同选错方向会让整个项目的精度和解释性都很别扭。做电影推荐时我的默认选择是 ItemCF 或矩阵分解只有在演示社交推荐场景时才会优先展示 UserCF。2.1 基于用户的协同过滤UserCF的计算过程与适用场景UserCF 先根据用户的历史评分用皮尔逊相关系数或余弦相似度计算用户之间的相似度再找到与目标用户最相似的 K 个用户把这 K 个用户评分过的物品按加权得分排序生成 TopN 推荐。用公式表达就是先得到用户相似度矩阵sim(u, v)然后对目标用户 u 未评分的物品 i用sum(sim(u, v) * r(v, i))加权求和来预测。import numpy as np def user_cf_predict(ratings, sim_matrix, u, i, k10): # ratings: 二维数组, 行是用户, 列是物品, 0 表示未评分 # sim_matrix: 用户之间的相似度矩阵 scores [] for v in range(ratings.shape[0]): if v u or ratings[v, i] 0: continue if sim_matrix[u, v] 0: scores.append((sim_matrix[u, v], ratings[v, i])) scores.sort(keylambda x: x[0], reverseTrue) top_k scores[:k] if len(top_k) 0: return 0 return sum(w * r for w, r in top_k) / sum(w for w, r in top_k)这段代码的逻辑是遍历所有对物品 i 评过分的用户只保留与目标用户相似度大于 0 的用户再按相似度加权平均得到预测评分。参数 K 控制邻居数量K 太小则预测方差大K 太大则引入大量弱相关用户电影推荐场景里 K 通常在 20 到 50 之间。UserCF 的可解释性好但这个方案有个硬伤用户数量通常远大于电影数量相似度矩阵随用户增长呈平方级膨胀并且新用户没有历史行为时完全无法计算。2.2 基于物品的协同过滤ItemCF与物品相似度矩阵的构建ItemCF 的思路是把“喜欢这个电影的人也会喜欢哪些电影”固化成物品相似度矩阵。两个电影如果被同一批用户喜欢它们就被认为相似。物品相似度常用余弦相似度或改进后的条件概率公式def item_similarity(ratings_mat): # ratings_mat 转置后, 行是物品, 列是用户 item_mat ratings_mat.T n_items item_mat.shape[0] sim np.zeros((n_items, n_items)) for i in range(n_items): for j in range(i 1, n_items): # 只取同时评过分的用户 common (item_mat[i] 0) (item_mat[j] 0) if common.sum() 0: continue vec_i item_mat[i][common] vec_j item_mat[j][common] # 余弦相似度 denom np.linalg.norm(vec_i) * np.linalg.norm(vec_j) if denom 0: sim[i, j] sim[j, i] np.dot(vec_i, vec_j) / denom return sim这里把评分矩阵转置后每一行是一个物品在所有用户上的评分向量。common是同时评价过这两个物品的用户布尔索引只有这些用户参与相似度计算避免大量零值拉低相似度。与 UserCF 相比ItemCF 的物品相似度矩阵在电影场景中数量级是千到万级别可以提前离线计算并缓存。另一个优势是推荐结果解释性强可以明确告诉用户“因为你看过《盗梦空间》所以推荐《星际穿越》”这在论文里容易配上截图。2.3 矩阵分解SVD / SVD如何提升评分预测精度MovieLens 这类数据集非常稀疏用户只评价过极少部分电影。直接使用用户-物品矩阵会产生大量的空值使相似度计算噪声变大。矩阵分解把评分矩阵 R 近似分解成两个低秩矩阵的乘积R ≈ P^T QP 代表用户隐含特征Q 代表电影隐含特征。SVD 要求矩阵稠密所以实际中更常用 FunkSVD只对已知评分做最小二乘优化。SVD 则额外把用户的隐式反馈比如浏览、收藏融入模型在只使用显式评分完成毕设时SVD 已经足够。Surprise 库中SVD类就是基于 FunkSVD 实现的训练时用随机梯度下降更新 P 和 Q。调参时重点关注n_factors隐因子数量与reg_all正则化系数。隐因子数量太小模型学不到复杂关系太大则容易把评分噪声记进去。在 MovieLens 100K 上n_factors在 20 到 50 之间通常能接近最优 RMSE。2.4 算法选型对照表算法计算规模电影推荐效果冷启动表现可解释性论文实现难度UserCF用户数平方中等新用户无行为无法推荐较强低ItemCF物品数平方较好新电影无法推荐强低SVD用户数×因子数评分预测最好需额外处理新用户弱中SVD用户数×因子数最好考虑隐式反馈需融合其他特征弱中我的建议是论文主体用 ItemCF 作为基线再实现一个 SVD 模型作为改进算法两者对比。这样既有可解释规则又有数学深度答辩时能回答“为什么改进”这个问题。如果只做评分预测任务直接选择 SVD如果演示 TopN 推荐列表并用点击率做评估ItemCF 更容易讲清楚。3. 数据库设计与数据准备从MovieLens原始数据到可查询的评分表毕设项目如果没有数据库评委很难相信你真正理解了推荐系统的数据链路。常见做法是使用 MySQL 存储原始数据和推荐结果用 Python 脚本完成从 CSV 到数据库的导入。这样后续做 Web 展示时可以直接从库里取数也能在论文中画 ER 图和数据流图。3.1 数据集获取与字段说明最常用的公开数据集是 MovieLens。100K 版本包含 943 个用户对 1682 部电影的 10 万条评分足够验证算法1M 版本包含 6040 个用户和 3900 部电影更接近真实规模。数据集包含四个核心文件u.data评分、u.item电影信息、u.user用户信息、u.genre电影类型。评分数据格式是 CSVuser_id item_id rating timestamp 196 242 3 881250949 186 302 3 891717742 22 377 1 878887116第一列是用户 ID第二列是电影 ID第三列是 1 到 5 的整数评分第四列是 Unix 时间戳。注意 MovieLens 的用户 ID 和电影 ID 都从 1 开始导入数据库时不要顺手改成自增主键否则会让后续训练代码中的 ID 映射错位。3.2 数据库表结构设计我习惯把表分为原始数据层、特征层和结果层。原始数据层至少包含用户表、电影表、评分表结果层是推荐结果表。下面是 MySQL 建表语句CREATE TABLE users ( user_id INT PRIMARY KEY, age INT, gender VARCHAR(10), occupation VARCHAR(50), zip_code VARCHAR(10) ); CREATE TABLE movies ( movie_id INT PRIMARY KEY, title VARCHAR(200), release_year INT, genres VARCHAR(100) ); CREATE TABLE ratings ( user_id INT NOT NULL, movie_id INT NOT NULL, rating TINYINT NOT NULL, timestamp INT NOT NULL, PRIMARY KEY (user_id, movie_id), FOREIGN KEY (user_id) REFERENCES users(user_id), FOREIGN KEY (movie_id) REFERENCES movies(movie_id) ); CREATE TABLE recommendations ( user_id INT NOT NULL, movie_id INT NOT NULL, predicted_score FLOAT NOT NULL, rank INT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (user_id, movie_id) );ratings表用联合主键(user_id, movie_id)保证同一个用户对同一部电影只有一条评分。外键约束的作用是防止导入脏数据但也会拖慢大数据量导入速度建议先禁掉外键检查导入完成后再开启。recommendations表专门存模型生成的 TopN 推荐rank字段标记排序位置这样 Web 层直接WHERE user_id ? ORDER BY rank就能展示。3.3 使用Python清洗数据并导入MySQL导入过程使用pandas读取 CSV做基本清洗再通过sqlalchemy写入 MySQL。代码里需要依赖pymysql驱动。import pandas as pd from sqlalchemy import create_engine # 读取原始数据 ratings pd.read_csv( ml-100k/u.data, sep\t, names[user_id, movie_id, rating, timestamp] ) movies pd.read_csv( ml-100k/u.item, sep|, encodinglatin-1, usecols[0, 1, 2], names[movie_id, title, release_date] ) # 清洗: 去除空值, 将评分转换为整数 ratings ratings.dropna() ratings[rating] ratings[rating].astype(int) # 从发布日期中提取年份 movies[release_year] pd.to_datetime( movies[release_date], errorscoerce ).dt.year movies movies.dropna(subset[release_year]) movies[release_year] movies[release_year].astype(int) # 连接数据库 engine create_engine( mysqlpymysql://root:passwordlocalhost:3306/movielens?charsetutf8mb4 ) # 写入数据库, 用 if_existsreplace 避免重复插入 ratings.to_sql(ratings, engine, if_existsreplace, indexFalse) movies.to_sql(movies, engine, if_existsreplace, indexFalse)usecols只读取电影表前三列避免把热力值等无关字段也导进库。encodinglatin-1是 MovieLens 100K 的常见坑部分电影标题含特殊字符时用 UTF-8 读取会报错。pd.to_datetime遇到无法解析的日期会输出NaT所以后续一定加dropna。to_sql的if_existsreplace适合初始化重复运行不会累积数据。3.4 数据一致性检查与常见坑导入后要立刻执行几条 SQL 验证数据量SELECT COUNT(*) FROM ratings; SELECT COUNT(DISTINCT user_id) FROM ratings; SELECT COUNT(*) FROM movies; SELECT user_id, COUNT(*) AS cnt FROM ratings GROUP BY user_id ORDER BY cnt DESC LIMIT 5;第一个查询应该得到 100000第二个应该是 943第三个是 1682。如果数量不一致大概率是文件读取时使用了错误的列分隔符。另一个常见的错误是评分表里存在在movies表中不存在的movie_id这会导致外键约束失败。排查时可以用LEFT JOIN找孤儿记录SELECT r.movie_id FROM ratings r LEFT JOIN movies m ON r.movie_id m.movie_id WHERE m.movie_id IS NULL;如果返回非空结果说明原始数据有脏数据需要在导入前过滤掉。处理时间戳时需要转换为可读时间用于可视化分析但不要把它作为推荐算法输入因为 MovieLens 的评分时间分布极不均匀直接加入模型容易引入偏差。4. 推荐引擎实现基于Surprise库与手写ItemCF的最小可运行代码很多毕设源码里贴的是完整项目反而看不出核心逻辑。我会拆开来讲先用 Surprise 库快速跑通 SVD 和 KNN再手写一个 ItemCF 用于生成 TopN 推荐最后把训练、评估、推荐三个环节用文件隔离开。这样代码结构清晰答辩时也更容易说明模块划分。4.1 环境准备与依赖安装推荐使用 conda 创建 Python 3.9 的虚拟环境避免系统 Python 环境混乱。conda create -n movie_rec python3.9 conda activate movie_rec pip install scikit-surprise pandas sqlalchemy pymysqlscikit-surprise是 Surprise 的 PyPI 包名导入时用from surprise import ...。如果你的 Python 版本过高比如 3.11部分旧版本 Surprise 可能没有预编译包需要从源码编译。这时可以直接用pip install scikit-surprise --no-cache-dir重新装最新版。装完后用python -c import surprise; print(surprise.__version__)验证。4.2 使用Surprise实现SVD和KNNBasicSurprise 的优势是内置了多种算法、数据集分割和评估指标。下面这段代码完成了从数据库读取评分到训练 SVD 模型的全过程。import pandas as pd from sqlalchemy import create_engine from surprise import Dataset, Reader, SVD, KNNBasic, accuracy from surprise.model_selection import train_test_split engine create_engine(mysqlpymysql://root:passwordlocalhost:3306/movielens) ratings pd.read_sql(SELECT user_id, movie_id, rating FROM ratings, engine) reader Reader(rating_scale(1, 5)) data Dataset.load_from_df( ratings[[user_id, movie_id, rating]], reader ) trainset, testset train_test_split(data, test_size0.2, random_state42) # SVD 模型 svd SVD(n_factors30, n_epochs20, lr_all0.005, reg_all0.02) svd.fit(trainset) svd_pred svd.test(testset) print(SVD RMSE:, accuracy.rmse(svd_pred)) # KNNBasic 模型, 使用用户相似度 knn KNNBasic(k40, sim_options{ name: pearson, user_based: True }) knn.fit(trainset) knn_pred knn.test(testset) print(UserCF RMSE:, accuracy.rmse(knn_pred))Reader的rating_scale必须和数据真实范围一致否则 Surprise 会警告并可能导致预测值越界。train_test_split的random_state固定为 42保证论文中的实验可以被复现。n_factors控制隐因子向量维度lr_all是全局学习率reg_all是正则化系数。KNNBasic 的sim_options里namepearson表示用皮尔逊相关系数user_basedTrue表示计算用户相似度。4.3 手写ItemCF计算物品相似度并生成TopN推荐Surprise 里的 KNN 输出的是对单个物品的评分预测生成推荐列表还要额外写逻辑。手写 ItemCF 虽然代码量稍大但能看到每一步的数据变换。我直接用稀疏矩阵存储评分数据避免内存膨胀。import numpy as np from scipy.sparse import csr_matrix # 构建物品-用户稀疏矩阵 def build_item_user_matrix(ratings_df, n_users, n_items): row ratings_df[movie_id].values - 1 col ratings_df[user_id].values - 1 data ratings_df[rating].values return csr_matrix((data, (row, col)), shape(n_items, n_users)) # 计算物品余弦相似度 def compute_item_sim(item_user_mat): # 归一化评分向量, 再计算内积 norms np.array(item_user_mat.power(2).sum(axis1)).ravel() ** 0.5 norms[norms 0] 1 item_norm item_user_mat.multiply(1 / norms[:, None]) sim item_norm item_norm.T return sim.tocsr() # 生成推荐 def recommend(user_id, item_user_mat, sim_mat, k10): user_idx user_id - 1 rated np.array(item_user_mat[:, user_idx].toarray()).ravel() unrated np.where(rated 0)[0] scores sim_mat[unrated] rated top_indices np.argsort(scores)[::-1][:k] return [(idx 1, scores[idx]) for idx in top_indices]csr_matrix只存储非零元素适合 MovieLens 这种稀疏结构。compute_item_sim先对每个物品向量做 L2 归一化再用矩阵乘一次算出所有物品对余弦相似度比双重 for 循环快几个数量级。recommend里的rated是当前用户对所有物品的评分向量sim_mat[unrated] rated计算的是每个未评分物品与所有已评分物品的加权和天然实现了“相似物品贡献更大”的逻辑。4.4 代码结构组织训练、评估、推荐分离一套完整的源码目录我会这样组织movie_recommendation/ ├── data/ # 原始数据和SQL脚本 ├── src/ │ ├── data_preprocess.py # 清洗数据并导入数据库 │ ├── train.py # 训练SVD和ItemCF模型 │ ├── evaluate.py # 输出RMSE和TopN指标 │ ├── recommend.py # 为指定用户生成推荐 │ └── db.py # 数据库连接与结果回写 ├── test/ # 单元测试 ├── docs/ # 论文图表存放 └── README.mdtrain.py负责训练两种模型并保存到本地 pickle 文件evaluate.py单独加载模型和测试集做评估recommend.py接收user_id参数并回写recommendations表。这样做的原因是训练和推荐是不同生命周期训练不频繁推荐可能会被 Web 频繁调用。如果在同一个文件里每次请求都重新训练效率极低且无法体现工程能力。4.5 关键参数调优参数所属模型作用推荐区间kKNN邻居数量20-60min_kKNN最小邻居数量1-5sim_options.nameKNN相似度度量pearson / cosinen_factorsSVD隐因子数量20-100n_epochsSVD训练轮数10-50lr_allSVD全局学习率0.001-0.01reg_allSVD正则化系数0.01-0.1调参时先用小规模数据跑通流程再在完整数据集上遍历几组参数。不要一开始就上网格搜索因为 SVD 训练时间会随用户数线性增长。我的经验是KNN 的参数影响不如相似度度量选择大在评分数据稀疏时用余弦相似度比欧氏距离稳定SVD 的参数中n_epochs超过 30 后 RMSE 基本不再下降反而开始过拟合。5. 评估指标与论文写作要点让毕设从“能跑”变成“高分”离线评估是论文最重要的数据支撑。先说一个容易犯的错误只用 RMSE 评价推荐质量。RMSE 衡量的是评分预测误差但推荐系统真正关心的是用户是否喜欢推荐出来的 TopN 物品。我建议同时报告评分预测指标和 TopN 集合指标。5.1 用RMSE和PrecisionK讲述算法优势RMSE 计算方式大家都很熟关键在 PrecisionK对每个用户取 TopK 推荐列表推荐列表中预测评分大于阈值比如 4 分的电影数为 TPPrecisionK TP / K。代码实现如下。def precision_at_k(predictions, k10, threshold4): hit 0 for uid, iid, true_r, est, _ in predictions: if est threshold: hit 1 return hit / (k * len(set(uid for uid, _, _, _, _ in predictions)))这段代码有个隐含假设每个用户恰好有 k 条推荐列表。所以在生成测试集预测时先按用户分组对每个用户取前 k 条估计值最高的预测。更严谨的写法是先按est降序排列再截断前 k。论文里把 SVD 和 ItemCF 的 RMSE、Precision10 放在同一张表里然后加一段文字说明“SVD 在评分预测上更精准ItemCF 在 TopN 召回上更有竞争力”。5.2 论文中的实验对比表设计算法RMSEMAEPrecision10Recall10UserCF (k40)0.9820.7740.2150.126ItemCF (k40)0.9510.7480.2430.149SVD (30 factors)0.9370.7310.2310.138这张表是虚拟数据但结构非常标准。注意表格中要体现参数否则评委无法复现。写实验分析时不要只写“SVD 最好”要结合数据量说明在评分稀疏度高的情况下SVD 通过隐因子泛化了用户偏好因此误差更低而 ItemCF 的推荐列表多样性更强所以 Precision 和 Recall 表现更好。5.3 避免论文被质疑的3个细节第一训练集和测试集必须按用户划分不能打乱所有评分后随机切分否则会出现同一用户既在训练又在测试的情况。第二所有实验固定随机种子并在论文里写明“random_state42”。第三新增的对比方法必须保证评估代码一致不能给 SVD 用 5 折交叉验证给 ItemCF 用 80/20 划分这样比较不公平。这三个细节做好了答辩时很少有人能问倒你。如果时间和精力允许还可以加一个混合策略把 ItemCF 生成的候选集送入 SVD 重新打分最终按 SVD 分数排序。这种做法不需要额外的外部特征代码量也不大但能明显改善推荐列表的整体质量写论文时可以作为一个小的改进点单独成节。本文还有配套的精品资源点击获取
电影推荐系统实战：协同过滤、SVD与完整技术栈解析
简介推荐系统是个性化服务中的核心组件普遍应用于电商、视频、新闻等内容分发平台。协同过滤是推荐系统最基础的算法范式它不依赖任何内容特征仅通过用户与物品的交互矩阵捕捉偏好规律原理简洁且易于实现兼具学术价值与工程落地可行性。基于用户的协同过滤UserCF和基于物品的协同过滤ItemCF分别从“相似人群”和“相似物品”两个视角生成推荐而矩阵分解SVD则进一步通过隐因子建模提升评分预测精度。这些算法已广泛用于电影推荐等典型场景例如MovieLens公开数据集上的离线评估与TopK推荐。理解协同过滤的数学特性、编程实现与评估指标体系是构建一个高质量推荐系统的关键路径。本文以电影推荐为实例围绕算法选型、数据表设计、Python代码实现和论文实验对比完整梳理一个从原始数据到可运行原型的工程方案为毕业设计或快速搭建Demo提供直接参考。1. 基于协同过滤的电影推荐系统从毕设选题到可落地的完整技术栈每年毕业季都能看到大量“电影推荐系统”题目但真正能拿到高分的设计往往不是把算法论文复现一遍而是把数据、算法、工程和论文串成一条完整证据链。协同过滤是推荐系统里最经典的起点它不依赖内容特征只靠用户与物品的交互矩阵就能生成推荐非常适合在没有外部知识库的情况下独立完成。这决定了它既是课程设计的热门也是面试时最容易被追问细节的领域。这篇文章解决的是“从 zip 里的源码到答辩台上的高分论文”之间缺口。我会用一个真实可运行的路径把基于用户的协同过滤、基于物品的协同过滤和矩阵分解三种主流思路讲透再落到数据库表结构、Python 实现、离线评估和论文写作具体步骤。你不需要提前读过原论文或下载某个特定源码包只需要跟着这套方案自己动手拼出完整项目。适合正在做毕设的本科生也适合想快速搭建一个可演示原型的一线工程师。2. 协同过滤算法选型基于用户、基于物品与矩阵分解的适用边界协同过滤的核心假设是“相似的人有相似偏好相似物品会获得相似评价”。但同样是协同过滤基于用户、基于物品、矩阵分解三者的计算目标完全不同选错方向会让整个项目的精度和解释性都很别扭。做电影推荐时我的默认选择是 ItemCF 或矩阵分解只有在演示社交推荐场景时才会优先展示 UserCF。2.1 基于用户的协同过滤UserCF的计算过程与适用场景UserCF 先根据用户的历史评分用皮尔逊相关系数或余弦相似度计算用户之间的相似度再找到与目标用户最相似的 K 个用户把这 K 个用户评分过的物品按加权得分排序生成 TopN 推荐。用公式表达就是先得到用户相似度矩阵sim(u, v)然后对目标用户 u 未评分的物品 i用sum(sim(u, v) * r(v, i))加权求和来预测。import numpy as np def user_cf_predict(ratings, sim_matrix, u, i, k10): # ratings: 二维数组, 行是用户, 列是物品, 0 表示未评分 # sim_matrix: 用户之间的相似度矩阵 scores [] for v in range(ratings.shape[0]): if v u or ratings[v, i] 0: continue if sim_matrix[u, v] 0: scores.append((sim_matrix[u, v], ratings[v, i])) scores.sort(keylambda x: x[0], reverseTrue) top_k scores[:k] if len(top_k) 0: return 0 return sum(w * r for w, r in top_k) / sum(w for w, r in top_k)这段代码的逻辑是遍历所有对物品 i 评过分的用户只保留与目标用户相似度大于 0 的用户再按相似度加权平均得到预测评分。参数 K 控制邻居数量K 太小则预测方差大K 太大则引入大量弱相关用户电影推荐场景里 K 通常在 20 到 50 之间。UserCF 的可解释性好但这个方案有个硬伤用户数量通常远大于电影数量相似度矩阵随用户增长呈平方级膨胀并且新用户没有历史行为时完全无法计算。2.2 基于物品的协同过滤ItemCF与物品相似度矩阵的构建ItemCF 的思路是把“喜欢这个电影的人也会喜欢哪些电影”固化成物品相似度矩阵。两个电影如果被同一批用户喜欢它们就被认为相似。物品相似度常用余弦相似度或改进后的条件概率公式def item_similarity(ratings_mat): # ratings_mat 转置后, 行是物品, 列是用户 item_mat ratings_mat.T n_items item_mat.shape[0] sim np.zeros((n_items, n_items)) for i in range(n_items): for j in range(i 1, n_items): # 只取同时评过分的用户 common (item_mat[i] 0) (item_mat[j] 0) if common.sum() 0: continue vec_i item_mat[i][common] vec_j item_mat[j][common] # 余弦相似度 denom np.linalg.norm(vec_i) * np.linalg.norm(vec_j) if denom 0: sim[i, j] sim[j, i] np.dot(vec_i, vec_j) / denom return sim这里把评分矩阵转置后每一行是一个物品在所有用户上的评分向量。common是同时评价过这两个物品的用户布尔索引只有这些用户参与相似度计算避免大量零值拉低相似度。与 UserCF 相比ItemCF 的物品相似度矩阵在电影场景中数量级是千到万级别可以提前离线计算并缓存。另一个优势是推荐结果解释性强可以明确告诉用户“因为你看过《盗梦空间》所以推荐《星际穿越》”这在论文里容易配上截图。2.3 矩阵分解SVD / SVD如何提升评分预测精度MovieLens 这类数据集非常稀疏用户只评价过极少部分电影。直接使用用户-物品矩阵会产生大量的空值使相似度计算噪声变大。矩阵分解把评分矩阵 R 近似分解成两个低秩矩阵的乘积R ≈ P^T QP 代表用户隐含特征Q 代表电影隐含特征。SVD 要求矩阵稠密所以实际中更常用 FunkSVD只对已知评分做最小二乘优化。SVD 则额外把用户的隐式反馈比如浏览、收藏融入模型在只使用显式评分完成毕设时SVD 已经足够。Surprise 库中SVD类就是基于 FunkSVD 实现的训练时用随机梯度下降更新 P 和 Q。调参时重点关注n_factors隐因子数量与reg_all正则化系数。隐因子数量太小模型学不到复杂关系太大则容易把评分噪声记进去。在 MovieLens 100K 上n_factors在 20 到 50 之间通常能接近最优 RMSE。2.4 算法选型对照表算法计算规模电影推荐效果冷启动表现可解释性论文实现难度UserCF用户数平方中等新用户无行为无法推荐较强低ItemCF物品数平方较好新电影无法推荐强低SVD用户数×因子数评分预测最好需额外处理新用户弱中SVD用户数×因子数最好考虑隐式反馈需融合其他特征弱中我的建议是论文主体用 ItemCF 作为基线再实现一个 SVD 模型作为改进算法两者对比。这样既有可解释规则又有数学深度答辩时能回答“为什么改进”这个问题。如果只做评分预测任务直接选择 SVD如果演示 TopN 推荐列表并用点击率做评估ItemCF 更容易讲清楚。3. 数据库设计与数据准备从MovieLens原始数据到可查询的评分表毕设项目如果没有数据库评委很难相信你真正理解了推荐系统的数据链路。常见做法是使用 MySQL 存储原始数据和推荐结果用 Python 脚本完成从 CSV 到数据库的导入。这样后续做 Web 展示时可以直接从库里取数也能在论文中画 ER 图和数据流图。3.1 数据集获取与字段说明最常用的公开数据集是 MovieLens。100K 版本包含 943 个用户对 1682 部电影的 10 万条评分足够验证算法1M 版本包含 6040 个用户和 3900 部电影更接近真实规模。数据集包含四个核心文件u.data评分、u.item电影信息、u.user用户信息、u.genre电影类型。评分数据格式是 CSVuser_id item_id rating timestamp 196 242 3 881250949 186 302 3 891717742 22 377 1 878887116第一列是用户 ID第二列是电影 ID第三列是 1 到 5 的整数评分第四列是 Unix 时间戳。注意 MovieLens 的用户 ID 和电影 ID 都从 1 开始导入数据库时不要顺手改成自增主键否则会让后续训练代码中的 ID 映射错位。3.2 数据库表结构设计我习惯把表分为原始数据层、特征层和结果层。原始数据层至少包含用户表、电影表、评分表结果层是推荐结果表。下面是 MySQL 建表语句CREATE TABLE users ( user_id INT PRIMARY KEY, age INT, gender VARCHAR(10), occupation VARCHAR(50), zip_code VARCHAR(10) ); CREATE TABLE movies ( movie_id INT PRIMARY KEY, title VARCHAR(200), release_year INT, genres VARCHAR(100) ); CREATE TABLE ratings ( user_id INT NOT NULL, movie_id INT NOT NULL, rating TINYINT NOT NULL, timestamp INT NOT NULL, PRIMARY KEY (user_id, movie_id), FOREIGN KEY (user_id) REFERENCES users(user_id), FOREIGN KEY (movie_id) REFERENCES movies(movie_id) ); CREATE TABLE recommendations ( user_id INT NOT NULL, movie_id INT NOT NULL, predicted_score FLOAT NOT NULL, rank INT NOT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (user_id, movie_id) );ratings表用联合主键(user_id, movie_id)保证同一个用户对同一部电影只有一条评分。外键约束的作用是防止导入脏数据但也会拖慢大数据量导入速度建议先禁掉外键检查导入完成后再开启。recommendations表专门存模型生成的 TopN 推荐rank字段标记排序位置这样 Web 层直接WHERE user_id ? ORDER BY rank就能展示。3.3 使用Python清洗数据并导入MySQL导入过程使用pandas读取 CSV做基本清洗再通过sqlalchemy写入 MySQL。代码里需要依赖pymysql驱动。import pandas as pd from sqlalchemy import create_engine # 读取原始数据 ratings pd.read_csv( ml-100k/u.data, sep\t, names[user_id, movie_id, rating, timestamp] ) movies pd.read_csv( ml-100k/u.item, sep|, encodinglatin-1, usecols[0, 1, 2], names[movie_id, title, release_date] ) # 清洗: 去除空值, 将评分转换为整数 ratings ratings.dropna() ratings[rating] ratings[rating].astype(int) # 从发布日期中提取年份 movies[release_year] pd.to_datetime( movies[release_date], errorscoerce ).dt.year movies movies.dropna(subset[release_year]) movies[release_year] movies[release_year].astype(int) # 连接数据库 engine create_engine( mysqlpymysql://root:passwordlocalhost:3306/movielens?charsetutf8mb4 ) # 写入数据库, 用 if_existsreplace 避免重复插入 ratings.to_sql(ratings, engine, if_existsreplace, indexFalse) movies.to_sql(movies, engine, if_existsreplace, indexFalse)usecols只读取电影表前三列避免把热力值等无关字段也导进库。encodinglatin-1是 MovieLens 100K 的常见坑部分电影标题含特殊字符时用 UTF-8 读取会报错。pd.to_datetime遇到无法解析的日期会输出NaT所以后续一定加dropna。to_sql的if_existsreplace适合初始化重复运行不会累积数据。3.4 数据一致性检查与常见坑导入后要立刻执行几条 SQL 验证数据量SELECT COUNT(*) FROM ratings; SELECT COUNT(DISTINCT user_id) FROM ratings; SELECT COUNT(*) FROM movies; SELECT user_id, COUNT(*) AS cnt FROM ratings GROUP BY user_id ORDER BY cnt DESC LIMIT 5;第一个查询应该得到 100000第二个应该是 943第三个是 1682。如果数量不一致大概率是文件读取时使用了错误的列分隔符。另一个常见的错误是评分表里存在在movies表中不存在的movie_id这会导致外键约束失败。排查时可以用LEFT JOIN找孤儿记录SELECT r.movie_id FROM ratings r LEFT JOIN movies m ON r.movie_id m.movie_id WHERE m.movie_id IS NULL;如果返回非空结果说明原始数据有脏数据需要在导入前过滤掉。处理时间戳时需要转换为可读时间用于可视化分析但不要把它作为推荐算法输入因为 MovieLens 的评分时间分布极不均匀直接加入模型容易引入偏差。4. 推荐引擎实现基于Surprise库与手写ItemCF的最小可运行代码很多毕设源码里贴的是完整项目反而看不出核心逻辑。我会拆开来讲先用 Surprise 库快速跑通 SVD 和 KNN再手写一个 ItemCF 用于生成 TopN 推荐最后把训练、评估、推荐三个环节用文件隔离开。这样代码结构清晰答辩时也更容易说明模块划分。4.1 环境准备与依赖安装推荐使用 conda 创建 Python 3.9 的虚拟环境避免系统 Python 环境混乱。conda create -n movie_rec python3.9 conda activate movie_rec pip install scikit-surprise pandas sqlalchemy pymysqlscikit-surprise是 Surprise 的 PyPI 包名导入时用from surprise import ...。如果你的 Python 版本过高比如 3.11部分旧版本 Surprise 可能没有预编译包需要从源码编译。这时可以直接用pip install scikit-surprise --no-cache-dir重新装最新版。装完后用python -c import surprise; print(surprise.__version__)验证。4.2 使用Surprise实现SVD和KNNBasicSurprise 的优势是内置了多种算法、数据集分割和评估指标。下面这段代码完成了从数据库读取评分到训练 SVD 模型的全过程。import pandas as pd from sqlalchemy import create_engine from surprise import Dataset, Reader, SVD, KNNBasic, accuracy from surprise.model_selection import train_test_split engine create_engine(mysqlpymysql://root:passwordlocalhost:3306/movielens) ratings pd.read_sql(SELECT user_id, movie_id, rating FROM ratings, engine) reader Reader(rating_scale(1, 5)) data Dataset.load_from_df( ratings[[user_id, movie_id, rating]], reader ) trainset, testset train_test_split(data, test_size0.2, random_state42) # SVD 模型 svd SVD(n_factors30, n_epochs20, lr_all0.005, reg_all0.02) svd.fit(trainset) svd_pred svd.test(testset) print(SVD RMSE:, accuracy.rmse(svd_pred)) # KNNBasic 模型, 使用用户相似度 knn KNNBasic(k40, sim_options{ name: pearson, user_based: True }) knn.fit(trainset) knn_pred knn.test(testset) print(UserCF RMSE:, accuracy.rmse(knn_pred))Reader的rating_scale必须和数据真实范围一致否则 Surprise 会警告并可能导致预测值越界。train_test_split的random_state固定为 42保证论文中的实验可以被复现。n_factors控制隐因子向量维度lr_all是全局学习率reg_all是正则化系数。KNNBasic 的sim_options里namepearson表示用皮尔逊相关系数user_basedTrue表示计算用户相似度。4.3 手写ItemCF计算物品相似度并生成TopN推荐Surprise 里的 KNN 输出的是对单个物品的评分预测生成推荐列表还要额外写逻辑。手写 ItemCF 虽然代码量稍大但能看到每一步的数据变换。我直接用稀疏矩阵存储评分数据避免内存膨胀。import numpy as np from scipy.sparse import csr_matrix # 构建物品-用户稀疏矩阵 def build_item_user_matrix(ratings_df, n_users, n_items): row ratings_df[movie_id].values - 1 col ratings_df[user_id].values - 1 data ratings_df[rating].values return csr_matrix((data, (row, col)), shape(n_items, n_users)) # 计算物品余弦相似度 def compute_item_sim(item_user_mat): # 归一化评分向量, 再计算内积 norms np.array(item_user_mat.power(2).sum(axis1)).ravel() ** 0.5 norms[norms 0] 1 item_norm item_user_mat.multiply(1 / norms[:, None]) sim item_norm item_norm.T return sim.tocsr() # 生成推荐 def recommend(user_id, item_user_mat, sim_mat, k10): user_idx user_id - 1 rated np.array(item_user_mat[:, user_idx].toarray()).ravel() unrated np.where(rated 0)[0] scores sim_mat[unrated] rated top_indices np.argsort(scores)[::-1][:k] return [(idx 1, scores[idx]) for idx in top_indices]csr_matrix只存储非零元素适合 MovieLens 这种稀疏结构。compute_item_sim先对每个物品向量做 L2 归一化再用矩阵乘一次算出所有物品对余弦相似度比双重 for 循环快几个数量级。recommend里的rated是当前用户对所有物品的评分向量sim_mat[unrated] rated计算的是每个未评分物品与所有已评分物品的加权和天然实现了“相似物品贡献更大”的逻辑。4.4 代码结构组织训练、评估、推荐分离一套完整的源码目录我会这样组织movie_recommendation/ ├── data/ # 原始数据和SQL脚本 ├── src/ │ ├── data_preprocess.py # 清洗数据并导入数据库 │ ├── train.py # 训练SVD和ItemCF模型 │ ├── evaluate.py # 输出RMSE和TopN指标 │ ├── recommend.py # 为指定用户生成推荐 │ └── db.py # 数据库连接与结果回写 ├── test/ # 单元测试 ├── docs/ # 论文图表存放 └── README.mdtrain.py负责训练两种模型并保存到本地 pickle 文件evaluate.py单独加载模型和测试集做评估recommend.py接收user_id参数并回写recommendations表。这样做的原因是训练和推荐是不同生命周期训练不频繁推荐可能会被 Web 频繁调用。如果在同一个文件里每次请求都重新训练效率极低且无法体现工程能力。4.5 关键参数调优参数所属模型作用推荐区间kKNN邻居数量20-60min_kKNN最小邻居数量1-5sim_options.nameKNN相似度度量pearson / cosinen_factorsSVD隐因子数量20-100n_epochsSVD训练轮数10-50lr_allSVD全局学习率0.001-0.01reg_allSVD正则化系数0.01-0.1调参时先用小规模数据跑通流程再在完整数据集上遍历几组参数。不要一开始就上网格搜索因为 SVD 训练时间会随用户数线性增长。我的经验是KNN 的参数影响不如相似度度量选择大在评分数据稀疏时用余弦相似度比欧氏距离稳定SVD 的参数中n_epochs超过 30 后 RMSE 基本不再下降反而开始过拟合。5. 评估指标与论文写作要点让毕设从“能跑”变成“高分”离线评估是论文最重要的数据支撑。先说一个容易犯的错误只用 RMSE 评价推荐质量。RMSE 衡量的是评分预测误差但推荐系统真正关心的是用户是否喜欢推荐出来的 TopN 物品。我建议同时报告评分预测指标和 TopN 集合指标。5.1 用RMSE和PrecisionK讲述算法优势RMSE 计算方式大家都很熟关键在 PrecisionK对每个用户取 TopK 推荐列表推荐列表中预测评分大于阈值比如 4 分的电影数为 TPPrecisionK TP / K。代码实现如下。def precision_at_k(predictions, k10, threshold4): hit 0 for uid, iid, true_r, est, _ in predictions: if est threshold: hit 1 return hit / (k * len(set(uid for uid, _, _, _, _ in predictions)))这段代码有个隐含假设每个用户恰好有 k 条推荐列表。所以在生成测试集预测时先按用户分组对每个用户取前 k 条估计值最高的预测。更严谨的写法是先按est降序排列再截断前 k。论文里把 SVD 和 ItemCF 的 RMSE、Precision10 放在同一张表里然后加一段文字说明“SVD 在评分预测上更精准ItemCF 在 TopN 召回上更有竞争力”。5.2 论文中的实验对比表设计算法RMSEMAEPrecision10Recall10UserCF (k40)0.9820.7740.2150.126ItemCF (k40)0.9510.7480.2430.149SVD (30 factors)0.9370.7310.2310.138这张表是虚拟数据但结构非常标准。注意表格中要体现参数否则评委无法复现。写实验分析时不要只写“SVD 最好”要结合数据量说明在评分稀疏度高的情况下SVD 通过隐因子泛化了用户偏好因此误差更低而 ItemCF 的推荐列表多样性更强所以 Precision 和 Recall 表现更好。5.3 避免论文被质疑的3个细节第一训练集和测试集必须按用户划分不能打乱所有评分后随机切分否则会出现同一用户既在训练又在测试的情况。第二所有实验固定随机种子并在论文里写明“random_state42”。第三新增的对比方法必须保证评估代码一致不能给 SVD 用 5 折交叉验证给 ItemCF 用 80/20 划分这样比较不公平。这三个细节做好了答辩时很少有人能问倒你。如果时间和精力允许还可以加一个混合策略把 ItemCF 生成的候选集送入 SVD 重新打分最终按 SVD 分数排序。这种做法不需要额外的外部特征代码量也不大但能明显改善推荐列表的整体质量写论文时可以作为一个小的改进点单独成节。本文还有配套的精品资源点击获取
 应用部署到 Vercel 并配置 bunVersion)
