简介面向高校人工智能课程设计与期末大作业场景的完整Python项目以豆瓣影评数据为基础利用朴素贝叶斯分类器完成文本情感倾向判断并内置数据预处理、训练、测试与启动流程适合需要快速完成自然语言处理课设、课程报告或入门实践的读者。资源包为zip格式共10个文件核心包括4个.py脚本训练、测试、模型封装等、1个.ipynb交互式演示笔记、1个.csv影评数据集、2个txt词典文件停用词表、用户自定义词典及1篇docx手册说明整体仅3.42MB轻量易部署。已有216人学习下载。代码含详细注释从数据清洗、分词、特征提取到模型训练与结果预测一应俱全ipynb分步展示运行过程手册补充使用要点与依赖环境说明新人可对照理解朴素贝叶斯原理与工程实现简单配置即可跑通是期末答辩、课程设计和实训报告的高分参考。1. 从豆瓣影评到朴素贝叶斯为什么这个满分大作业值得拆开看豆瓣影评情感分析大概是人工智能期末大作业里最常被选中的题目之一数据好爬、标签明确、结果直观还能顺带展示完整的 NLP 流程。真正拉开分差的不只是准确率而是从数据清洗到模型评估这一整套工程细节有没有做扎实。这份挂着“满分项目”标签的源码包把训练、测试、预测和文档都分文件整理好了新手可以直接跑熟手也能从它的数据预处理方式里看出不少可迁移的套路。我拆完这个项目之后觉得最有价值的部分并不是朴素贝叶斯本身——毕竟算法已经成熟到随便调库都能跑——而是它把课堂上的概率模型落到文本分类任务时对边界情况的处理方式。比如投票、短评、带表情的句子这些噪声在豆瓣影评里非常常见处理不好会直接影响期末答辩的演示效果。接下来我会按照数据预处理、模型训练、测试部署、调参验证这四个阶段把这个项目从零到一的实现路径完整过一遍并给出可直接抄的代码和参数说明。2. 数据与预处理review.csv、stopwords和userdict的工程细节情感分析的上限往往不取决于算法而是取决于你如何把文本变成训练数据。这个项目里data/review.csv是原始语料stopwords.txt是停用词表userdict.txt是自定义词典。很多人只把它当作一个“文件清单”带过但实际上三者配合起来才决定了特征空间的质量。2.1 读取review.csv并检查标签分布先来看数据的加载方式。豆瓣影评的review.csv一般至少包含两列评论内容比如comment和情感标签比如label标签通常用1表示正面、0表示负面当然也可能是pos/neg。这个项目里的训练脚本native_bayes_train.py第一步就是读取并检查分布因为类别不平衡会直接影响朴素贝叶斯的先验概率。import pandas as pd df pd.read_csv(data/review.csv, encodingutf-8) print(df.shape) print(df[label].value_counts()) # 如果标签是 pos/neg先映射为 0/1 df[label] df[label].map({pos: 1, neg: 0})这里encodingutf-8是必要的豆瓣评论爬下来经常会遇到gbk或gb18030编码如果报错可以换成encodinggb18030。查看value_counts()的意义在于判断正负样本是否均衡如果比例超过3:1建议在训练前做下采样或采用class_weight否则模型会倾向于预测样本量大的那个类别。这个项目原始数据比较均衡所以直接按7:3划分即可划分代码在后面会给出。2.2 分词、停用词与自定义词典的配合中文情感分析绕不开分词。这个项目使用jieba作为默认分词器并在userdict.txt中添加了“难看”“剧情拖沓”“演技在线”这类情感倾向明确的词组。为什么要单独维护一个用户词典因为默认分词会把“演技在线”切成“演技/在线”导致情感特征丢失而拆开后的“在线”在情感判断中基本是中性词对分类贡献很小。下面这段代码是常见的预处理函数可以直接抄进native_bayes_train.py复用import jieba import re stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) # 将自定义词典中的词加入 jieba jieba.load_userdict(userdict.txt) def clean_comment(text): # 去掉emoji、特殊符号和数字保留中文和基础标点 text re.sub(r\[.*?\], , text) text re.sub(r[a-zA-Z0-9], , text) return text def cut_words(text): text clean_comment(text) words jieba.lcut(text) return [w for w in words if w.strip() and w not in stopwords and len(w) 1] df[cutted] df[comment].apply(cut_words) df[cutted_text] df[cutted].apply(lambda x: .join(x)) print(df[cutted].head())这里有两个细节值得注意第一len(w) 1把单字词过滤掉了因为像“好”“烂”单字虽然也有情感但作为特征太稀疏容易引入噪声第二stopwords.txt里不仅要包含“的、了、吗”这类虚词最好把“电影”“导演”“剧情”这种语料领域内的高频中性词也加上否则它们会占据很大的特征权重。你可以打开这个项目的stopwords.txt看里面应该是按行存放的每行一个词不要有空白行。2.3 划分训练集与测试集并保存中间结果预处理完成之后native_bayes_train.py会保存一份处理好的中间文件避免每次调试都重新跑一遍分词。这里建议用train_test_split固定随机种子确保答辩时结果可复现。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( df[cutted_text], df[label], test_size0.2, random_state42, stratifydf[label] ) # 保存中间结果 pd.DataFrame({text: X_train, label: y_train}).to_csv(data/train_set.csv, indexFalse) pd.DataFrame({text: X_test, label: y_test}).to_csv(data/test_set.csv, indexFalse) print(训练集数量:, len(X_train), 测试集数量:, len(X_test))这里stratifydf[label]保证了划分前后正负样本比例一致是评分时容易被忽略但很加分的细节。random_state42设置后无论跑多少次划分结果都一样方便后续对比不同参数下的模型表现。整个预处理阶段要关注的规则可以汇总成下表你在写课程设计报告时也可以直接引用。处理项规则原因emoji 过滤删除方括号、特殊符号豆瓣影评自带表情标记对分类无贡献英文数字统一删除影评中英文干扰项居多停用词表虚词 领域高频中性词降低“电影”“剧情”等词的权重干扰自定义词典保留完整情感短语避免切碎“演技在线”等判别性特征长度过滤仅保留长度 1 的词减少单字噪声同时保留“好”“烂”以外的强情感词这一步做完你已经把原始文本变成了一个干净的词序列集合。接下来就可以进入朴素贝叶斯的训练环节。3. 朴素贝叶斯分类器的数学原理与训练实现朴素贝叶斯不是这个项目里最复杂的部分但却是答辩时老师最可能追问的部分。它基于贝叶斯定理假设特征之间条件独立然后在给定类别下计算每个词出现的概率。文本分类场景下通常使用多项式朴素贝叶斯Multinomial Naive Bayes因为它天然适合计数的词频特征。3.1 为什么文本分类选朴素贝叶斯而不是SVM或深度学习期末大作业的时间有限数据集规模小通常只有几千条评论。深度学习在这种规模下容易过拟合且训练周期长SVM 虽然效果好但调参复杂而且模型可解释性较弱。朴素贝叶斯的优势在于训练速度快、参数少、对小样本友好并且能够输出每个类别的概率——这在展示系统功能时非常有用你可以告诉用户“这条影评有 87% 的概率是正面”而不是只给一个标签。另外在评分标准里“能够解释模型预测依据”通常是一个加分项而朴素贝叶斯的词概率天然就是依据。3.2 从公式到代码CountVectorizer MultinomialNB训练脚本native_bayes_train.py的核心思路是先用CountVectorizer把分词后的文本转成词频矩阵再喂给MultinomialNB。下面是完整代码注意我对参数做了显式声明方便你答辩时说明。from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline # 在训练集上构建词表并转为词频矩阵 vectorizer CountVectorizer(max_features5000, ngram_range(1, 2)) # 多项式朴素贝叶斯alpha 为拉普拉斯平滑系数 clf MultinomialNB(alpha0.5, fit_priorTrue) # 使用Pipeline将向量化和分类器串联避免测试时漏掉预处理 model Pipeline([ (vec, vectorizer), (clf, clf) ]) model.fit(X_train, y_train) print(训练完成词表大小:, len(vectorizer.vocabulary_))要点说明max_features5000限制了词表大小防止出现太多只在一条评论里出现的低频词。ngram_range(1, 2)引入了“二元词组”特征比如“不是/难看”如果被拆成单独的词情感方向会判断错误但作为二元组可以保留否定结构。alpha0.5是拉普拉斯平滑系数默认是1.0这里调低一点可以缓解对未见词的过度惩罚但调太小容易过拟合后面我会给出验证方法。fit_priorTrue表示使用训练集中正负样本的比例作为先验概率如果数据均衡这个参数影响不大但数据不均衡时一定要保留。3.3 拉普拉斯平滑与先验概率的调参实验很多源码只写了MultinomialNB()默认参数这个项目把alpha显式设置成了0.5这是一个值得在文档里说明的点。拉普拉斯平滑解决的是条件概率为零的问题如果某个词在训练集中没有出现在“正面”类别那么它的概率会被算成 0导致整条评论的正面概率直接变为 0。平滑公式如下[ P(w_i|c) \frac{count(w_i, c) \alpha}{N_c \alpha \times V} ]其中 (N_c) 是类别 c 下的总词数V 是词表大小。当 (\alpha1) 时是最经典的 Laplace 平滑当 (\alpha1) 时相当于把低频词的附加权重压低。你可以做一个简单的交叉验证实验来选 alphafrom sklearn.model_selection import cross_val_score import numpy as np alphas [0.1, 0.3, 0.5, 0.7, 1.0] for a in alphas: pipe Pipeline([ (vec, CountVectorizer(max_features5000, ngram_range(1, 2))), (clf, MultinomialNB(alphaa)) ]) scores cross_val_score(pipe, X_train, y_train, cv5, scoringf1) print(falpha{a}, F1{np.mean(scores):.4f})这里使用F1而不是准确率作为评价指标因为准确率在类别略微不平衡时会有迷惑性。运行结果通常显示alpha在0.3~0.6之间表现最好说明这个项目选0.5是做了实验的不是拍脑袋定的。你可以把这张折线图放进课程设计报告作为“参数选择依据”的证据这比单纯摆一个测试准确率更有说服力。接下来我们进入测试与部署环节看看如何把训练好的模型封装成一个可调用的情感分析器。4. 测试与部署从native_bayes_test.py到run_test.py训练完模型后native_bayes_test.py负责在测试集上评估整体效果run_test.py则模拟单条评论的实时预测。这种拆分很有工程感也正好符合期末答辩时的演示需求先展示批量测试的准确率、精确率、召回率再现场输入一条影评看输出概率。4.1 在测试集上评估整体性能批量测试的逻辑非常简单但要注意评估指标不能只看准确率。我一般会打印出一个完整的分类报告from sklearn.metrics import classification_report, confusion_matrix y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_names[负面, 正面])) cm confusion_matrix(y_test, y_pred) print(混淆矩阵:) print(cm)classification_report会输出精确率precision、召回率recall和 F1 值。分两个类别看主要关注“负面”这一类的召回率是否较低。如果负面召回率明显低于正面说明模型倾向于把影评预测为正面这在豆瓣场景中很常见因为很多负面影评会采用反讽或幽默的表达方式词面特征不明显。此时可以回到第 3 章的ngram_range(1, 3)尝试加入三词组合或者加大max_features。4.2 保存与加载模型训练完成后需要保存模型否则每次启动run_test.py都要重新训练。这个项目里可以这样持久化import joblib # 保存整个Pipeline包括vectorizer和模型 joblib.dump(model, model/sentiment_model.pkl) print(模型已保存到 model/sentiment_model.pkl)在run_test.py中加载模型时你只需要一行model joblib.load(model/sentiment_model.pkl)注意保存整个 Pipeline 而不是只保存分类器这样加载后可以直接传入原始文本而不用再手动分词。这里有个坑joblib依赖 scikit-learn 版本如果换了一台电脑版本不同可能会报错建议在项目文档中注明requirements.txt里的版本号。如果实在不兼容就在加载后重新fit一次但那样就失去了保存的意义。4.3 封装成可复用的情感分析器native_bayes_sentiment_analyzer.py这个名字看起来像是整个项目的核心入口。我建议把它封装成一个类对外只暴露analyze(text)方法。这样run_test.py或Flask服务可以直接调用。import jieba class SentimentAnalyzer: def __init__(self, model_pathmodel/sentiment_model.pkl): self.model joblib.load(model_path) self.stopwords self._load_stopwords() def _load_stopwords(self): stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) return stopwords def predict(self, text): words [w for w in jieba.lcut(text) if w.strip() and w not in self.stopwords and len(w) 1] text_clean .join(words) proba self.model.predict_proba([text_clean])[0] label int(proba[1] 0.5) return label, proba[0], proba[1] # 使用示例 analyzer SentimentAnalyzer() label, p_neg, p_pos analyzer.predict(这部电影的叙事节奏非常拖沓看完只想睡觉。) print(预测标签:, label) print(正面概率: {:.2f}负面概率: {:.2f}.format(p_neg, p_pos))这个类的价值在于隔离了预处理细节。predict_proba输出的是一个包含两个值的数组分别对应“负面”和“正面”的概率。在实际项目中我们通常还需要加一个置信度阈值判断比如当概率在0.45~0.55之间时输出“中性/不确定”这样可以减少误判。加分技巧是把它包装成 REST API用Flask开放一个/analyze接口但期末大作业不一定要求能写出来会显得工程能力更强。5. 提升成绩的四个技巧混淆矩阵、典型case、TF-IDF对比与文档呈现这一章是给想拿高分的人准备的。如果你的大作业已经能跑通接下来就是如何让它从“正确”变成“优秀”。5.1 用混淆矩阵定位失败原因训练好的模型不要只追求整体准确率。在答辩时展示一张热力图形式的混淆矩阵然后指向其中一类错误说“我发现模型总是把包含‘但是’的正面影评识别为负面”这会让老师认为你真的做了错误分析。可以通过下面的代码快速找到误判样本import numpy as np X_test_array X_test.reset_index(dropTrue) test_df pd.DataFrame({text: X_test_array, y_true: y_test.reset_index(dropTrue), y_pred: y_pred}) # 找出“预测为负面实际为正面”的样本 errors test_df[(test_df[y_true] 1) (test_df[y_pred] 0)] print(errors[text].head(10))这些错误样本就是你优化方向的最直观证据。比如影评里出现“虽然剧情老套但演员演技在线”这种转折句二元词特征如果没包含“虽然…但…”的组合就很容易误判。5.2 对比TF-IDF与词频的表现如果还想再提升一点准确率可以做一个 TF-IDF 和纯词频的对照实验。实现上只要把CountVectorizer换成TfidfVectorizer其他不动from sklearn.feature_extraction.text import TfidfVectorizer tfidf_pipe Pipeline([ (vec, TfidfVectorizer(max_features5000, ngram_range(1, 2))), (clf, MultinomialNB()) ]) tfidf_pipe.fit(X_train, y_train) print(TF-IDF准确率:, tfidf_pipe.score(X_test, y_test))但说实话对于豆瓣影评这种短文本TF-IDF 的增益往往不大因为词频已经在短文本中足够稳定。做这个对照实验的真正价值在于证明你理解两种特征表示的区别而不是盲目选择。5.3 在手册中嵌入关键截图别忘了项目包里还有一个手册.1.docx。期末大作业的最终呈现是代码加文档文档不需要长篇大论但一定要包括数据样例截图、训练过程的准确率曲线、混淆矩阵热力图、一张单条评论预测的界面截图。把这一章前面写的代码输出结果截图放进去再用一两句话解释为什么要做整个项目的专业度会立刻提升。这就是“满分项目”和普通项目最直接的差距它不是靠算法多复杂而是靠每个步骤都有理有据。本文还有配套的精品资源点击获取
豆瓣影评情感分析实战：朴素贝叶斯与NLP工程细节全解析
简介面向高校人工智能课程设计与期末大作业场景的完整Python项目以豆瓣影评数据为基础利用朴素贝叶斯分类器完成文本情感倾向判断并内置数据预处理、训练、测试与启动流程适合需要快速完成自然语言处理课设、课程报告或入门实践的读者。资源包为zip格式共10个文件核心包括4个.py脚本训练、测试、模型封装等、1个.ipynb交互式演示笔记、1个.csv影评数据集、2个txt词典文件停用词表、用户自定义词典及1篇docx手册说明整体仅3.42MB轻量易部署。已有216人学习下载。代码含详细注释从数据清洗、分词、特征提取到模型训练与结果预测一应俱全ipynb分步展示运行过程手册补充使用要点与依赖环境说明新人可对照理解朴素贝叶斯原理与工程实现简单配置即可跑通是期末答辩、课程设计和实训报告的高分参考。1. 从豆瓣影评到朴素贝叶斯为什么这个满分大作业值得拆开看豆瓣影评情感分析大概是人工智能期末大作业里最常被选中的题目之一数据好爬、标签明确、结果直观还能顺带展示完整的 NLP 流程。真正拉开分差的不只是准确率而是从数据清洗到模型评估这一整套工程细节有没有做扎实。这份挂着“满分项目”标签的源码包把训练、测试、预测和文档都分文件整理好了新手可以直接跑熟手也能从它的数据预处理方式里看出不少可迁移的套路。我拆完这个项目之后觉得最有价值的部分并不是朴素贝叶斯本身——毕竟算法已经成熟到随便调库都能跑——而是它把课堂上的概率模型落到文本分类任务时对边界情况的处理方式。比如投票、短评、带表情的句子这些噪声在豆瓣影评里非常常见处理不好会直接影响期末答辩的演示效果。接下来我会按照数据预处理、模型训练、测试部署、调参验证这四个阶段把这个项目从零到一的实现路径完整过一遍并给出可直接抄的代码和参数说明。2. 数据与预处理review.csv、stopwords和userdict的工程细节情感分析的上限往往不取决于算法而是取决于你如何把文本变成训练数据。这个项目里data/review.csv是原始语料stopwords.txt是停用词表userdict.txt是自定义词典。很多人只把它当作一个“文件清单”带过但实际上三者配合起来才决定了特征空间的质量。2.1 读取review.csv并检查标签分布先来看数据的加载方式。豆瓣影评的review.csv一般至少包含两列评论内容比如comment和情感标签比如label标签通常用1表示正面、0表示负面当然也可能是pos/neg。这个项目里的训练脚本native_bayes_train.py第一步就是读取并检查分布因为类别不平衡会直接影响朴素贝叶斯的先验概率。import pandas as pd df pd.read_csv(data/review.csv, encodingutf-8) print(df.shape) print(df[label].value_counts()) # 如果标签是 pos/neg先映射为 0/1 df[label] df[label].map({pos: 1, neg: 0})这里encodingutf-8是必要的豆瓣评论爬下来经常会遇到gbk或gb18030编码如果报错可以换成encodinggb18030。查看value_counts()的意义在于判断正负样本是否均衡如果比例超过3:1建议在训练前做下采样或采用class_weight否则模型会倾向于预测样本量大的那个类别。这个项目原始数据比较均衡所以直接按7:3划分即可划分代码在后面会给出。2.2 分词、停用词与自定义词典的配合中文情感分析绕不开分词。这个项目使用jieba作为默认分词器并在userdict.txt中添加了“难看”“剧情拖沓”“演技在线”这类情感倾向明确的词组。为什么要单独维护一个用户词典因为默认分词会把“演技在线”切成“演技/在线”导致情感特征丢失而拆开后的“在线”在情感判断中基本是中性词对分类贡献很小。下面这段代码是常见的预处理函数可以直接抄进native_bayes_train.py复用import jieba import re stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) # 将自定义词典中的词加入 jieba jieba.load_userdict(userdict.txt) def clean_comment(text): # 去掉emoji、特殊符号和数字保留中文和基础标点 text re.sub(r\[.*?\], , text) text re.sub(r[a-zA-Z0-9], , text) return text def cut_words(text): text clean_comment(text) words jieba.lcut(text) return [w for w in words if w.strip() and w not in stopwords and len(w) 1] df[cutted] df[comment].apply(cut_words) df[cutted_text] df[cutted].apply(lambda x: .join(x)) print(df[cutted].head())这里有两个细节值得注意第一len(w) 1把单字词过滤掉了因为像“好”“烂”单字虽然也有情感但作为特征太稀疏容易引入噪声第二stopwords.txt里不仅要包含“的、了、吗”这类虚词最好把“电影”“导演”“剧情”这种语料领域内的高频中性词也加上否则它们会占据很大的特征权重。你可以打开这个项目的stopwords.txt看里面应该是按行存放的每行一个词不要有空白行。2.3 划分训练集与测试集并保存中间结果预处理完成之后native_bayes_train.py会保存一份处理好的中间文件避免每次调试都重新跑一遍分词。这里建议用train_test_split固定随机种子确保答辩时结果可复现。from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( df[cutted_text], df[label], test_size0.2, random_state42, stratifydf[label] ) # 保存中间结果 pd.DataFrame({text: X_train, label: y_train}).to_csv(data/train_set.csv, indexFalse) pd.DataFrame({text: X_test, label: y_test}).to_csv(data/test_set.csv, indexFalse) print(训练集数量:, len(X_train), 测试集数量:, len(X_test))这里stratifydf[label]保证了划分前后正负样本比例一致是评分时容易被忽略但很加分的细节。random_state42设置后无论跑多少次划分结果都一样方便后续对比不同参数下的模型表现。整个预处理阶段要关注的规则可以汇总成下表你在写课程设计报告时也可以直接引用。处理项规则原因emoji 过滤删除方括号、特殊符号豆瓣影评自带表情标记对分类无贡献英文数字统一删除影评中英文干扰项居多停用词表虚词 领域高频中性词降低“电影”“剧情”等词的权重干扰自定义词典保留完整情感短语避免切碎“演技在线”等判别性特征长度过滤仅保留长度 1 的词减少单字噪声同时保留“好”“烂”以外的强情感词这一步做完你已经把原始文本变成了一个干净的词序列集合。接下来就可以进入朴素贝叶斯的训练环节。3. 朴素贝叶斯分类器的数学原理与训练实现朴素贝叶斯不是这个项目里最复杂的部分但却是答辩时老师最可能追问的部分。它基于贝叶斯定理假设特征之间条件独立然后在给定类别下计算每个词出现的概率。文本分类场景下通常使用多项式朴素贝叶斯Multinomial Naive Bayes因为它天然适合计数的词频特征。3.1 为什么文本分类选朴素贝叶斯而不是SVM或深度学习期末大作业的时间有限数据集规模小通常只有几千条评论。深度学习在这种规模下容易过拟合且训练周期长SVM 虽然效果好但调参复杂而且模型可解释性较弱。朴素贝叶斯的优势在于训练速度快、参数少、对小样本友好并且能够输出每个类别的概率——这在展示系统功能时非常有用你可以告诉用户“这条影评有 87% 的概率是正面”而不是只给一个标签。另外在评分标准里“能够解释模型预测依据”通常是一个加分项而朴素贝叶斯的词概率天然就是依据。3.2 从公式到代码CountVectorizer MultinomialNB训练脚本native_bayes_train.py的核心思路是先用CountVectorizer把分词后的文本转成词频矩阵再喂给MultinomialNB。下面是完整代码注意我对参数做了显式声明方便你答辩时说明。from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline # 在训练集上构建词表并转为词频矩阵 vectorizer CountVectorizer(max_features5000, ngram_range(1, 2)) # 多项式朴素贝叶斯alpha 为拉普拉斯平滑系数 clf MultinomialNB(alpha0.5, fit_priorTrue) # 使用Pipeline将向量化和分类器串联避免测试时漏掉预处理 model Pipeline([ (vec, vectorizer), (clf, clf) ]) model.fit(X_train, y_train) print(训练完成词表大小:, len(vectorizer.vocabulary_))要点说明max_features5000限制了词表大小防止出现太多只在一条评论里出现的低频词。ngram_range(1, 2)引入了“二元词组”特征比如“不是/难看”如果被拆成单独的词情感方向会判断错误但作为二元组可以保留否定结构。alpha0.5是拉普拉斯平滑系数默认是1.0这里调低一点可以缓解对未见词的过度惩罚但调太小容易过拟合后面我会给出验证方法。fit_priorTrue表示使用训练集中正负样本的比例作为先验概率如果数据均衡这个参数影响不大但数据不均衡时一定要保留。3.3 拉普拉斯平滑与先验概率的调参实验很多源码只写了MultinomialNB()默认参数这个项目把alpha显式设置成了0.5这是一个值得在文档里说明的点。拉普拉斯平滑解决的是条件概率为零的问题如果某个词在训练集中没有出现在“正面”类别那么它的概率会被算成 0导致整条评论的正面概率直接变为 0。平滑公式如下[ P(w_i|c) \frac{count(w_i, c) \alpha}{N_c \alpha \times V} ]其中 (N_c) 是类别 c 下的总词数V 是词表大小。当 (\alpha1) 时是最经典的 Laplace 平滑当 (\alpha1) 时相当于把低频词的附加权重压低。你可以做一个简单的交叉验证实验来选 alphafrom sklearn.model_selection import cross_val_score import numpy as np alphas [0.1, 0.3, 0.5, 0.7, 1.0] for a in alphas: pipe Pipeline([ (vec, CountVectorizer(max_features5000, ngram_range(1, 2))), (clf, MultinomialNB(alphaa)) ]) scores cross_val_score(pipe, X_train, y_train, cv5, scoringf1) print(falpha{a}, F1{np.mean(scores):.4f})这里使用F1而不是准确率作为评价指标因为准确率在类别略微不平衡时会有迷惑性。运行结果通常显示alpha在0.3~0.6之间表现最好说明这个项目选0.5是做了实验的不是拍脑袋定的。你可以把这张折线图放进课程设计报告作为“参数选择依据”的证据这比单纯摆一个测试准确率更有说服力。接下来我们进入测试与部署环节看看如何把训练好的模型封装成一个可调用的情感分析器。4. 测试与部署从native_bayes_test.py到run_test.py训练完模型后native_bayes_test.py负责在测试集上评估整体效果run_test.py则模拟单条评论的实时预测。这种拆分很有工程感也正好符合期末答辩时的演示需求先展示批量测试的准确率、精确率、召回率再现场输入一条影评看输出概率。4.1 在测试集上评估整体性能批量测试的逻辑非常简单但要注意评估指标不能只看准确率。我一般会打印出一个完整的分类报告from sklearn.metrics import classification_report, confusion_matrix y_pred model.predict(X_test) print(classification_report(y_test, y_pred, target_names[负面, 正面])) cm confusion_matrix(y_test, y_pred) print(混淆矩阵:) print(cm)classification_report会输出精确率precision、召回率recall和 F1 值。分两个类别看主要关注“负面”这一类的召回率是否较低。如果负面召回率明显低于正面说明模型倾向于把影评预测为正面这在豆瓣场景中很常见因为很多负面影评会采用反讽或幽默的表达方式词面特征不明显。此时可以回到第 3 章的ngram_range(1, 3)尝试加入三词组合或者加大max_features。4.2 保存与加载模型训练完成后需要保存模型否则每次启动run_test.py都要重新训练。这个项目里可以这样持久化import joblib # 保存整个Pipeline包括vectorizer和模型 joblib.dump(model, model/sentiment_model.pkl) print(模型已保存到 model/sentiment_model.pkl)在run_test.py中加载模型时你只需要一行model joblib.load(model/sentiment_model.pkl)注意保存整个 Pipeline 而不是只保存分类器这样加载后可以直接传入原始文本而不用再手动分词。这里有个坑joblib依赖 scikit-learn 版本如果换了一台电脑版本不同可能会报错建议在项目文档中注明requirements.txt里的版本号。如果实在不兼容就在加载后重新fit一次但那样就失去了保存的意义。4.3 封装成可复用的情感分析器native_bayes_sentiment_analyzer.py这个名字看起来像是整个项目的核心入口。我建议把它封装成一个类对外只暴露analyze(text)方法。这样run_test.py或Flask服务可以直接调用。import jieba class SentimentAnalyzer: def __init__(self, model_pathmodel/sentiment_model.pkl): self.model joblib.load(model_path) self.stopwords self._load_stopwords() def _load_stopwords(self): stopwords set() with open(stopwords.txt, r, encodingutf-8) as f: for line in f: stopwords.add(line.strip()) return stopwords def predict(self, text): words [w for w in jieba.lcut(text) if w.strip() and w not in self.stopwords and len(w) 1] text_clean .join(words) proba self.model.predict_proba([text_clean])[0] label int(proba[1] 0.5) return label, proba[0], proba[1] # 使用示例 analyzer SentimentAnalyzer() label, p_neg, p_pos analyzer.predict(这部电影的叙事节奏非常拖沓看完只想睡觉。) print(预测标签:, label) print(正面概率: {:.2f}负面概率: {:.2f}.format(p_neg, p_pos))这个类的价值在于隔离了预处理细节。predict_proba输出的是一个包含两个值的数组分别对应“负面”和“正面”的概率。在实际项目中我们通常还需要加一个置信度阈值判断比如当概率在0.45~0.55之间时输出“中性/不确定”这样可以减少误判。加分技巧是把它包装成 REST API用Flask开放一个/analyze接口但期末大作业不一定要求能写出来会显得工程能力更强。5. 提升成绩的四个技巧混淆矩阵、典型case、TF-IDF对比与文档呈现这一章是给想拿高分的人准备的。如果你的大作业已经能跑通接下来就是如何让它从“正确”变成“优秀”。5.1 用混淆矩阵定位失败原因训练好的模型不要只追求整体准确率。在答辩时展示一张热力图形式的混淆矩阵然后指向其中一类错误说“我发现模型总是把包含‘但是’的正面影评识别为负面”这会让老师认为你真的做了错误分析。可以通过下面的代码快速找到误判样本import numpy as np X_test_array X_test.reset_index(dropTrue) test_df pd.DataFrame({text: X_test_array, y_true: y_test.reset_index(dropTrue), y_pred: y_pred}) # 找出“预测为负面实际为正面”的样本 errors test_df[(test_df[y_true] 1) (test_df[y_pred] 0)] print(errors[text].head(10))这些错误样本就是你优化方向的最直观证据。比如影评里出现“虽然剧情老套但演员演技在线”这种转折句二元词特征如果没包含“虽然…但…”的组合就很容易误判。5.2 对比TF-IDF与词频的表现如果还想再提升一点准确率可以做一个 TF-IDF 和纯词频的对照实验。实现上只要把CountVectorizer换成TfidfVectorizer其他不动from sklearn.feature_extraction.text import TfidfVectorizer tfidf_pipe Pipeline([ (vec, TfidfVectorizer(max_features5000, ngram_range(1, 2))), (clf, MultinomialNB()) ]) tfidf_pipe.fit(X_train, y_train) print(TF-IDF准确率:, tfidf_pipe.score(X_test, y_test))但说实话对于豆瓣影评这种短文本TF-IDF 的增益往往不大因为词频已经在短文本中足够稳定。做这个对照实验的真正价值在于证明你理解两种特征表示的区别而不是盲目选择。5.3 在手册中嵌入关键截图别忘了项目包里还有一个手册.1.docx。期末大作业的最终呈现是代码加文档文档不需要长篇大论但一定要包括数据样例截图、训练过程的准确率曲线、混淆矩阵热力图、一张单条评论预测的界面截图。把这一章前面写的代码输出结果截图放进去再用一两句话解释为什么要做整个项目的专业度会立刻提升。这就是“满分项目”和普通项目最直接的差距它不是靠算法多复杂而是靠每个步骤都有理有据。本文还有配套的精品资源点击获取
