简介基于K-means算法的校园微博热点话题发现系统毕业设计资料包面向计算机相关专业毕业生及文本挖掘、舆情分析方向的研究者。整套方案覆盖数据获取、短文本预处理、改进TF-IDF降维、优化K-means聚类、热度计算以及可视化界面等完整链路既可直接复用代码框架也可作为论文写作与答辩的参考范例。资源共386个文件以Python脚本、JavaScript、HTML/CSS、Markdown文档和JSON配置为主并含论文PDF和少量图表素材压缩包大小约4.99MB目录结构清晰便于定位核心模块。现有1060人学习适合需要快速搭建校园微博热点发现原型的读者。亮点在于针对短文本稀疏性和K-means局部最优问题给出了改进思路配套爬虫脚本、前后端代码及可视化界面可帮助理解真实项目中数据预处理与聚类调优的落地方法。1. 校园微博热点话题发现的瓶颈不在 K-means在前置数据与后置解读先说结论这类系统里 K-means 本身占不到 20% 的工作量答辩时 80% 的问题却都围着它转。别人问的不是K-means 原理是什么而是你为什么要聚成 8 类聚类结果拿什么验证热度分数凭什么这么算。整条技术链路是按关键词和时间窗口采集校园微博文本做清洗、分词、TF-IDF 向量化再用 sklearn 的 KMeans 把讨论同一议题的微博聚成一簇最后从簇里提取关键词叠加互动量和时间衰减算出热度。适合计算机、数据科学方向的毕业设计也适合给学院或社团做一个简易舆情看板数据量在几千到几万条时一台笔记本就能跑完。这篇文章按数据 → 聚类 → 话题 → 验证的顺序把能直接抄进实验章节的代码、参数表和公式全部写清楚。K 值怎么选、n_init 和 random_state 为什么不能乱动、热度公式里的 log 和时间衰减为什么存在都是论文里最容易被追问的点。2. 微博数据采集与中文文本预处理K-means 聚类前的必经环节校园微博的单条文本平均不到 80 字噪声占比却很高。如果清洗和分词没做好后面无论 K 值选得多准聚类结果都会表现为一个大簇吃掉 60% 数据、其余簇全是碎片。这一章先把数据链路搭起来。2.1 校园微博数据的来源开放接口与低频率采集脚本校园微博的采集有两条路。第一条是申请微博开放平台的开发者账号调用搜索类接口拿数据合规、有配额论文里可以光明正大写数据来自开放平台。但个人开发者能拿到的接口有限频次限制严格一次任务往往要跑几个小时。第二条是常见做法自己维护一个已登录的 cookie请求微博网页版搜索接口按页拉取。注意两点一是请求频率压在每秒一次以下遇到频控提示就退避二是只做学术用途的低频采集不要多线程并发不要绕过任何验证策略否则账号保不住论文数据也拿不干净。import time import requests COOKIE 你的微博登录 cookie HEADERS {Cookie: COOKIE, User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)} def fetch_weibo(keyword: str, start: str, end: str, pages: int 5): rows [] for page in range(1, pages 1): params {keyword: keyword, starttime: start, endtime: end, page: page} resp requests.get( https://s.weibo.com/weibo, paramsparams, headersHEADERS, timeout10 ) if resp.status_code ! 200 or passport in resp.url: time.sleep(30) # 触发频控退避半分钟再试 continue rows.extend(parse_search_page(resp.text)) # 解析正文、时间、转评赞 time.sleep(1.2) # 低频访问避免触发频控 return rows这段代码里值得注意的不是请求本身而是三个防御点状态码非 200 时 sleep 30 秒、URL 跳转到 passport 说明登录态失效、每次请求之间固定 sleep。毕设采集最常见的翻车现场是把 pages 调到 50 然后开线程池结果从第 20 页开始返回的全是空壳页面解析出来全是空文本聚类时这些空样本会全部挤进同一个簇。采集字段最少要包含 5 个微博正文 text、发布时间 created_at、转发数 reposts_count、评论数 comments_count、点赞数 attitudes_count。created_at 入库时统一转成 datetime 类型后面算时间衰减要用。如果想顺带把微博评论也爬下来做扩展分析可以基于每条微博的 mid 请求评论接口同样控制频率即可。2.2 文本清洗、中文分词与自定义词典的配置微博文本是短文本里噪声种类最多的来源之一。清洗要做三件事去噪点、分词、过滤停用词。微博特有的噪声有四类HTML 残留、短链接、用户名、方括号表情代码。import re import emoji def clean_text(s: str) - str: s re.sub(r[^], , s) # HTML 标签 s re.sub(rhttps?://\S, , s) # 短链 s re.sub(r[\w\u4e00-\u9fa5-], , s) # 用户 s re.sub(r#([^#])#, , s) # 话题标签聚类前去掉 s re.sub(r\[[^\]]*\], , s) # [哈哈] 这类表情代码 s emoji.replace_emoji(s, ) # Unicode emoji return re.sub(r\s, , s).strip()我一般会在聚类前把 #话题# 标签也去掉原因很实际#食堂# #图书馆# 这类标签本身是人工标注保留它会让簇按标签切分而不是按语义话题切分等于用规则提前替 K-means 做了决定。但去掉之前先把话题标签单独抽出来存一列后面解释簇含义时能对照。分词用 jieba关键是自定义词典。默认词典对校园实体识别很差三食堂机电楼大活这类词会被切碎。在 campus_dict.txt 里每行放一个词词本身、词频、词性例如三食堂 0 n。加载后统一走一遍 tokenize 流程。import jieba jieba.load_userdict(campus_dict.txt) stopwords set(open(stopwords.txt, encodingutf-8).read().split()) def tokenize(text: str) - str: words jieba.lcut(text) tokens [w for w in words if w.strip() and len(w) 1 and w not in stopwords] return .join(tokens) # 空格连接便于 TfidfVectorizer 直接消费过滤 len(w) 1 是因为单字词在微博里大多是语气词和噪声。停用词表建议在通用中文停用词表基础上手动补微博特有词转发微博我来说两句赞过分享都算。分词结果的质量直接决定聚类簇的纯度这个环节值得来回调两三天。2.3 TF-IDF 向量化选型为什么短文本聚类默认用它分词结果不能直接喂给 K-means必须先转成数值向量。常见选择有四种CountVectorizer、TfidfVectorizer、Word2Vec 均值向量、预训练语言模型向量。校园微博是典型的短文本Word2Vec 把每个词压成稠密向量再平均会把食堂涨价和食堂新窗口的差异抹平因为均值操作让所有词等权参与丢失了区分度。TF-IDF 的 IDF 项天然给图书馆考试周这类有区分度的词更高权重更适合聚类任务。向量化方式维度短文本区分度可解释性计算成本CountVectorizer词典大小差高频词主导一般低TfidfVectorizer词典大小可截断好高能直接看词权重低Word2Vec 均值固定如 300一般语义被平均稀释低中预训练语言模型固定如 768好低高毕设场景固定用 TfidfVectorizer参数按下面这套来from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features8000, # 最多保留 8000 个特征控制矩阵规模 ngram_range(1, 2), # 保留相邻两词短语如图书馆 闭馆 min_df2, # 至少在 2 条微博中出现去掉只出现一次的词 max_df0.8, # 超过 80% 微博都含有的词视为噪声词 sublinear_tfTrue, # 用 1log(tf) 替代原始词频 norml2, # 每个文档向量缩放到单位长度 ) X vectorizer.fit_transform(tokenized_docs) # X 是稀疏矩阵scipy.sparse CSRmax_features 设在 8000 到 15000 之间校园范围的小规模语料 8000 已经够用min_df2 能去掉只在单条微博出现的错别字和人名sublinear_tfTrue 是值得写进论文的一句它抑制了高转发微博里高频词的主导作用。norml2 让每个文档向量模长为 1此时欧氏距离排序等价于余弦相似度排序而 sklearn 的 KMeans 内部算的就是欧氏距离正好匹配文本相似度的直觉。做完这步X 的形状是 (微博条数, 8000)其中 95% 以上位置为 0直接交给 K-means不需要先做 PCA。3. 用 sklearn 实现 K-means 聚类稀疏向量、K 值选择与参数调优3.1 稀疏 TF-IDF 矩阵上 K-means 的收敛基础K-means 的目标是把 n 个样本分到 K 个簇最小化簇内平方和 J Σᵢ ‖xᵢ - μ_c(i)‖²。sklearn 的 KMeans 每轮迭代做两步E 步把每个样本分给最近的簇中心M 步用簇内均值更新中心。对 TF-IDF 稀疏矩阵sklearn 内部按稀疏格式优化了距离计算直接喂 CSR 矩阵即可不要调用 toarray() 把它变成稠密矩阵8000 维 × 2 万条微博的稠密矩阵会直接把内存吃满。这个算法在微博短文本上成立有两个前提。第一L2 归一化之后欧氏距离最近邻和余弦相似度排序完全等价而短文本相似度本来就应该用余弦第二TF-IDF 的 IDF 权重让簇中心的均值向量能体现区分度而不是频率。如果前面 2.3 的 min_df、max_df 没设好结果会表现为某个簇吃掉一半数据、其他簇全是碎片优先回头查数据而不是调 K。3.2 K-means 聚类最小可运行代码与参数表import pandas as pd from sklearn.cluster import KMeans df pd.read_csv(cleaned_weibo.csv) # 至少包含 text 和 tokenized 两列 K 8 kmeans KMeans( n_clustersK, initk-means, n_init10, # 用 10 个不同随机中心跑 10 次取误差最小的一次 max_iter300, # 单次运行最大迭代轮数 tol1e-4, # 簇中心位移小于该值提前收敛 random_state42, # 固定随机种子保证论文实验结果可复现 ) df[cluster] kmeans.fit_predict(X)这里每个参数都值得写进论文的实验设置表格参数默认值作用调参建议n_clusters8簇数即系统预设的话题数用 3.3 的肘部法则和轮廓系数确定别用默认值initk-means初始中心选择策略k-means 让初始中心尽量分散不要改成 random收敛质量和速度都会变差n_init10随机初值运行次数取结果最优的一次论文实验设 1020数值越大越不容易陷入局部最优max_iter300单次运行的最大迭代轮数校园微博数据一般几十轮就收敛300 足够random_stateNone随机种子必须固定否则每次运行聚类结果都不同注意 n_clusters 官方默认值是 8但这个数字没有任何语义只是 sklearn 的历史遗留。微博语料的 K 值一般在 5 到 15 之间具体交给下面的指标去定。3.3 肘部法则与轮廓系数确定 K 值K 值选择写进论文的标准做法是肘部法则加轮廓系数互相印证两条曲线都画出来放在论文实验章比文字描述有说服力得多。import numpy as np from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score k_range range(2, 16) inertia_list, sil_list [], [] for k in k_range: m KMeans(n_clustersk, initk-means, n_init10, random_state42).fit(X) inertia_list.append(m.inertia_) # 样本量大时先抽样再算轮廓系数避免 O(n^2) 的距离计算 rng np.random.RandomState(0) sample_idx rng.choice(X.shape[0], min(8000, X.shape[0]), replaceFalse) sil silhouette_score( X[sample_idx], m.predict(X[sample_idx]), sample_size4000 ) sil_list.append(sil)两个指标怎么读inertia 随 K 增大单调下降肘部出现在下降速度从陡变缓的位置那个 K 是信息量增加最快的上限轮廓系数取值 -1 到 1短文本聚类在 0.2 以上就说明簇内有可接受的内聚性0.3 以上算很好。如果整个 K 取值范围内轮廓系数都低于 0.1先别调 K回去查 2.2 的分词和停用词表八成是哈哈点赞这类噪声词没滤干净。Gap Statistic 理论上更严谨但要跑蒙特卡洛参考分布数据上万条后耗时明显论文里作为一句加分项提即可不用真跑。3.4 调 K-means 参数时最容易翻车的三个细节固定 random_state 是第一优先级。不固定种子哪怕同一份数据、同一个 K两次运行的簇编号都会变论文里的图表没法复现答辩现场重跑一遍结果对不上这是最尴尬的场景。第二是碎片簇的处理。跑完先看df[cluster].value_counts()如果出现只有 12 条样本的簇说明 K 偏大或者语料里混入了未清洗干净的异常微博。直接删掉碎片簇是偷懒正确做法是调小 K 或者回到清洗环节把异常样本去掉。第三是数据量上到十万条以后反复扫 2.3 的 K 值范围会很慢那时可以把 KMeans 换成MiniBatchKMeans(batch_size2048, random_state42)速度提升数倍代价是边界样本的簇归属会有轻微波动。所以论文正文里的正式实验一律用标准 KMeansMiniBatch 只作为性能对比实验出现。4. 从 K-means 聚类簇到热点话题关键词、热度公式与可视化4.1 用簇中心向量提取每个话题的关键词聚类做完每个簇是一堆微博要把簇翻译成话题靠的是关键词。最直接的方法KMeans 训练完的 cluster_centers_ 保存了每个簇中心在 TF-IDF 空间里的坐标坐标值最大的那些词就是这个簇区别于其他簇的词。terms vectorizer.get_feature_names_out() order kmeans.cluster_centers_.argsort()[:, ::-1] for i in range(K): top_terms [terms[idx] for idx in order[i, :8]] count (df[cluster] i).sum() print(f簇 {i} 样本数 {count}{ / .join(top_terms)})另一种补充做法是把簇内所有文本拼接后调用 jieba.analyse.extract_tags拿到的是簇内高频词。两者视角不同簇中心词受 IDF 影响强调这个簇独有的词extract_tags 强调这个簇里出现最多的词。实际效果上簇中心词更干净因为 IDF 把每条微博都有的通用词压了下去。最终话题名用中心词 Top1 Top2拼接例如图书馆 闭馆食堂 涨价比单个词可读性强很多。4.2 话题热度打分公式讨论量、互动量与时间衰减聚出簇之后怎么定义热点是论文里最好拿分的公式部分。常见做法是三个因子组合簇内微博数讨论广度、簇内互动量总和传播强度、时间新鲜度衰减惩罚。互动量用 log1p 处理是因为长尾太严重——一条被转发五万次的微博会把同簇其他 200 条微博的权重全部淹没log 把量级差从线性变成边际递减。score(C) (α · ln(1 N_C) β · ln(1 A_C)) · e^(-λ · Δt_C)其中 N_C 是簇内微博数A_C 是簇内转评赞之和Δt_C 是当前时间减去簇内最新一条微博的时间按天算λ 是衰减系数α 和 β 是加权权重满足 α β 1。默认取 α 0.6、β 0.4、λ 0.1/天含义是热度每过 10 天衰减到约 37%。参数选型的依据如下表参数含义建议取值说明α讨论广度权重0.50.7校园话题靠参与人数广度权重略高β传播强度权重0.30.5互动量噪声大权重不宜超过 αλ时间衰减系数0.050.2越大越偏当下热点越小越偏累计热度关于 Δt 用簇内最新微博时间而不是平均时间答辩时值得解释一句最新讨论时间才能反映现在还热不热平均时间会把一个上周爆过、昨天又被人翻出来的旧话题误判成冷门。import numpy as np import pandas as pd def topic_hot_score(group, alpha0.6, beta0.4, lam0.1): N len(group) A (group[reposts_count] group[comments_count] group[attitudes_count]).sum() delta_days max((pd.Timestamp.now() - group[created_at].max()).total_seconds() / 86400, 0) return (alpha * np.log1p(N) beta * np.log1p(A)) * np.exp(-lam * delta_days) scores df.groupby(cluster, group_keysFalse).apply(topic_hot_score) hot_rank scores.sort_values(ascendingFalse) print(hot_rank)这段代码的输出就是最终的热点话题榜单按热度分从高到低排列配合 4.1 的关键词一起展示。4.3 用 pyecharts 输出话题分布与趋势图pyecharts 是毕业设计可视化最省事的选择输出 HTML 文件直接嵌进答辩演示不依赖本地环境。横向条形图展示Top10 热点话题排行折线图展示每个话题的每日微博量趋势。from pyecharts import options as opts from pyecharts.charts import Bar bar Bar() bar.add_xaxis([f话题{i} for i in hot_rank.index[:10]]) bar.add_yaxis( 热度分, [round(v, 2) for v in hot_rank.values[:10]], category_gap40%, ) bar.set_global_opts( title_optsopts.TitleOpts(title校园微博热点话题 Top10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)), ) bar.render(hot_topics.html)趋势图的做法是把采集时间窗口拉长到一个月以上按天 resample 每个簇的微博条数把热度前三的话题画成三条折线。注意热度分通常在 010 区间画图时手动设置yaxis_min0, yaxis_max12否则默认的自动坐标轴会把折线拉平看不出变化趋势。只展示静态榜单的话答辩老师多半会问热点怎么随时间变化一张按天统计的趋势图就能把这个问题堵住。5. 答辩前验证簇纯度、事件回灌与结果可复现5.1 簇纯度人工验证表微博文本没有标准标签聚类质量不能用 accuracy论文里常用 Purity 做人工验证。做法是取样本量最大的 3 个簇每簇随机抽 20 条人工给每条标一个真实话题标签然后计算 Purity (1/N) Σₖ maxⱼ |Cₖ ∩ Lⱼ|。Purity 在 0.7 以上论文里可以写聚类结果与人工判读一致性良好。def purity(cluster_assign, true_labels, K): matrix np.zeros((K, len(set(true_labels)))) for pred, true in zip(cluster_assign, true_labels): matrix[pred, true] 1 return matrix.max(axis1).sum() / len(cluster_assign)抽样标注建议直接导出 Excel人工标完再读回来这个操作过程本身也是论文实验设计一节的内容。5.2 已知事件回灌验证比指标更直观的验证方式叫事件回灌。从采集数据里找一个你确定发生过的事件比如期末考试安排公布筛出包含相关关键词的微博检查它们是否被分进同一个簇、该簇是否进入热度榜前 5。判定标准是同簇比例不低于 60%且热度排序在前 5。这个验证在答辩时的说服力远高于任何数值指标因为它直接说明系统能把真实发生的校园事件识别出来。5.3 三个可复现性动作最后一个技巧是提交前把实验环境锁死。第一所有聚类和向量化代码统一固定 seed建议单独写一个常量 SEED 42 放在脚本开头第二在虚拟环境里执行pip freeze requirements.txt把 sklearn、jieba、pandas 的精确版本写进论文附录或随代码提交第三把每次实验的 silhouette、Purity、热点 Top10 结果记录成一张 CSV 表连同代码一起归档。答辩现场如果要复现直接执行python run_pipeline.py --seed 42输出和论文图表一致的结果这个细节能直接回答你的结果可信吗。本文还有配套的精品资源点击获取
校园微博热点话题发现：K-means聚类与TF-IDF全流程实践
简介基于K-means算法的校园微博热点话题发现系统毕业设计资料包面向计算机相关专业毕业生及文本挖掘、舆情分析方向的研究者。整套方案覆盖数据获取、短文本预处理、改进TF-IDF降维、优化K-means聚类、热度计算以及可视化界面等完整链路既可直接复用代码框架也可作为论文写作与答辩的参考范例。资源共386个文件以Python脚本、JavaScript、HTML/CSS、Markdown文档和JSON配置为主并含论文PDF和少量图表素材压缩包大小约4.99MB目录结构清晰便于定位核心模块。现有1060人学习适合需要快速搭建校园微博热点发现原型的读者。亮点在于针对短文本稀疏性和K-means局部最优问题给出了改进思路配套爬虫脚本、前后端代码及可视化界面可帮助理解真实项目中数据预处理与聚类调优的落地方法。1. 校园微博热点话题发现的瓶颈不在 K-means在前置数据与后置解读先说结论这类系统里 K-means 本身占不到 20% 的工作量答辩时 80% 的问题却都围着它转。别人问的不是K-means 原理是什么而是你为什么要聚成 8 类聚类结果拿什么验证热度分数凭什么这么算。整条技术链路是按关键词和时间窗口采集校园微博文本做清洗、分词、TF-IDF 向量化再用 sklearn 的 KMeans 把讨论同一议题的微博聚成一簇最后从簇里提取关键词叠加互动量和时间衰减算出热度。适合计算机、数据科学方向的毕业设计也适合给学院或社团做一个简易舆情看板数据量在几千到几万条时一台笔记本就能跑完。这篇文章按数据 → 聚类 → 话题 → 验证的顺序把能直接抄进实验章节的代码、参数表和公式全部写清楚。K 值怎么选、n_init 和 random_state 为什么不能乱动、热度公式里的 log 和时间衰减为什么存在都是论文里最容易被追问的点。2. 微博数据采集与中文文本预处理K-means 聚类前的必经环节校园微博的单条文本平均不到 80 字噪声占比却很高。如果清洗和分词没做好后面无论 K 值选得多准聚类结果都会表现为一个大簇吃掉 60% 数据、其余簇全是碎片。这一章先把数据链路搭起来。2.1 校园微博数据的来源开放接口与低频率采集脚本校园微博的采集有两条路。第一条是申请微博开放平台的开发者账号调用搜索类接口拿数据合规、有配额论文里可以光明正大写数据来自开放平台。但个人开发者能拿到的接口有限频次限制严格一次任务往往要跑几个小时。第二条是常见做法自己维护一个已登录的 cookie请求微博网页版搜索接口按页拉取。注意两点一是请求频率压在每秒一次以下遇到频控提示就退避二是只做学术用途的低频采集不要多线程并发不要绕过任何验证策略否则账号保不住论文数据也拿不干净。import time import requests COOKIE 你的微博登录 cookie HEADERS {Cookie: COOKIE, User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)} def fetch_weibo(keyword: str, start: str, end: str, pages: int 5): rows [] for page in range(1, pages 1): params {keyword: keyword, starttime: start, endtime: end, page: page} resp requests.get( https://s.weibo.com/weibo, paramsparams, headersHEADERS, timeout10 ) if resp.status_code ! 200 or passport in resp.url: time.sleep(30) # 触发频控退避半分钟再试 continue rows.extend(parse_search_page(resp.text)) # 解析正文、时间、转评赞 time.sleep(1.2) # 低频访问避免触发频控 return rows这段代码里值得注意的不是请求本身而是三个防御点状态码非 200 时 sleep 30 秒、URL 跳转到 passport 说明登录态失效、每次请求之间固定 sleep。毕设采集最常见的翻车现场是把 pages 调到 50 然后开线程池结果从第 20 页开始返回的全是空壳页面解析出来全是空文本聚类时这些空样本会全部挤进同一个簇。采集字段最少要包含 5 个微博正文 text、发布时间 created_at、转发数 reposts_count、评论数 comments_count、点赞数 attitudes_count。created_at 入库时统一转成 datetime 类型后面算时间衰减要用。如果想顺带把微博评论也爬下来做扩展分析可以基于每条微博的 mid 请求评论接口同样控制频率即可。2.2 文本清洗、中文分词与自定义词典的配置微博文本是短文本里噪声种类最多的来源之一。清洗要做三件事去噪点、分词、过滤停用词。微博特有的噪声有四类HTML 残留、短链接、用户名、方括号表情代码。import re import emoji def clean_text(s: str) - str: s re.sub(r[^], , s) # HTML 标签 s re.sub(rhttps?://\S, , s) # 短链 s re.sub(r[\w\u4e00-\u9fa5-], , s) # 用户 s re.sub(r#([^#])#, , s) # 话题标签聚类前去掉 s re.sub(r\[[^\]]*\], , s) # [哈哈] 这类表情代码 s emoji.replace_emoji(s, ) # Unicode emoji return re.sub(r\s, , s).strip()我一般会在聚类前把 #话题# 标签也去掉原因很实际#食堂# #图书馆# 这类标签本身是人工标注保留它会让簇按标签切分而不是按语义话题切分等于用规则提前替 K-means 做了决定。但去掉之前先把话题标签单独抽出来存一列后面解释簇含义时能对照。分词用 jieba关键是自定义词典。默认词典对校园实体识别很差三食堂机电楼大活这类词会被切碎。在 campus_dict.txt 里每行放一个词词本身、词频、词性例如三食堂 0 n。加载后统一走一遍 tokenize 流程。import jieba jieba.load_userdict(campus_dict.txt) stopwords set(open(stopwords.txt, encodingutf-8).read().split()) def tokenize(text: str) - str: words jieba.lcut(text) tokens [w for w in words if w.strip() and len(w) 1 and w not in stopwords] return .join(tokens) # 空格连接便于 TfidfVectorizer 直接消费过滤 len(w) 1 是因为单字词在微博里大多是语气词和噪声。停用词表建议在通用中文停用词表基础上手动补微博特有词转发微博我来说两句赞过分享都算。分词结果的质量直接决定聚类簇的纯度这个环节值得来回调两三天。2.3 TF-IDF 向量化选型为什么短文本聚类默认用它分词结果不能直接喂给 K-means必须先转成数值向量。常见选择有四种CountVectorizer、TfidfVectorizer、Word2Vec 均值向量、预训练语言模型向量。校园微博是典型的短文本Word2Vec 把每个词压成稠密向量再平均会把食堂涨价和食堂新窗口的差异抹平因为均值操作让所有词等权参与丢失了区分度。TF-IDF 的 IDF 项天然给图书馆考试周这类有区分度的词更高权重更适合聚类任务。向量化方式维度短文本区分度可解释性计算成本CountVectorizer词典大小差高频词主导一般低TfidfVectorizer词典大小可截断好高能直接看词权重低Word2Vec 均值固定如 300一般语义被平均稀释低中预训练语言模型固定如 768好低高毕设场景固定用 TfidfVectorizer参数按下面这套来from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer( max_features8000, # 最多保留 8000 个特征控制矩阵规模 ngram_range(1, 2), # 保留相邻两词短语如图书馆 闭馆 min_df2, # 至少在 2 条微博中出现去掉只出现一次的词 max_df0.8, # 超过 80% 微博都含有的词视为噪声词 sublinear_tfTrue, # 用 1log(tf) 替代原始词频 norml2, # 每个文档向量缩放到单位长度 ) X vectorizer.fit_transform(tokenized_docs) # X 是稀疏矩阵scipy.sparse CSRmax_features 设在 8000 到 15000 之间校园范围的小规模语料 8000 已经够用min_df2 能去掉只在单条微博出现的错别字和人名sublinear_tfTrue 是值得写进论文的一句它抑制了高转发微博里高频词的主导作用。norml2 让每个文档向量模长为 1此时欧氏距离排序等价于余弦相似度排序而 sklearn 的 KMeans 内部算的就是欧氏距离正好匹配文本相似度的直觉。做完这步X 的形状是 (微博条数, 8000)其中 95% 以上位置为 0直接交给 K-means不需要先做 PCA。3. 用 sklearn 实现 K-means 聚类稀疏向量、K 值选择与参数调优3.1 稀疏 TF-IDF 矩阵上 K-means 的收敛基础K-means 的目标是把 n 个样本分到 K 个簇最小化簇内平方和 J Σᵢ ‖xᵢ - μ_c(i)‖²。sklearn 的 KMeans 每轮迭代做两步E 步把每个样本分给最近的簇中心M 步用簇内均值更新中心。对 TF-IDF 稀疏矩阵sklearn 内部按稀疏格式优化了距离计算直接喂 CSR 矩阵即可不要调用 toarray() 把它变成稠密矩阵8000 维 × 2 万条微博的稠密矩阵会直接把内存吃满。这个算法在微博短文本上成立有两个前提。第一L2 归一化之后欧氏距离最近邻和余弦相似度排序完全等价而短文本相似度本来就应该用余弦第二TF-IDF 的 IDF 权重让簇中心的均值向量能体现区分度而不是频率。如果前面 2.3 的 min_df、max_df 没设好结果会表现为某个簇吃掉一半数据、其他簇全是碎片优先回头查数据而不是调 K。3.2 K-means 聚类最小可运行代码与参数表import pandas as pd from sklearn.cluster import KMeans df pd.read_csv(cleaned_weibo.csv) # 至少包含 text 和 tokenized 两列 K 8 kmeans KMeans( n_clustersK, initk-means, n_init10, # 用 10 个不同随机中心跑 10 次取误差最小的一次 max_iter300, # 单次运行最大迭代轮数 tol1e-4, # 簇中心位移小于该值提前收敛 random_state42, # 固定随机种子保证论文实验结果可复现 ) df[cluster] kmeans.fit_predict(X)这里每个参数都值得写进论文的实验设置表格参数默认值作用调参建议n_clusters8簇数即系统预设的话题数用 3.3 的肘部法则和轮廓系数确定别用默认值initk-means初始中心选择策略k-means 让初始中心尽量分散不要改成 random收敛质量和速度都会变差n_init10随机初值运行次数取结果最优的一次论文实验设 1020数值越大越不容易陷入局部最优max_iter300单次运行的最大迭代轮数校园微博数据一般几十轮就收敛300 足够random_stateNone随机种子必须固定否则每次运行聚类结果都不同注意 n_clusters 官方默认值是 8但这个数字没有任何语义只是 sklearn 的历史遗留。微博语料的 K 值一般在 5 到 15 之间具体交给下面的指标去定。3.3 肘部法则与轮廓系数确定 K 值K 值选择写进论文的标准做法是肘部法则加轮廓系数互相印证两条曲线都画出来放在论文实验章比文字描述有说服力得多。import numpy as np from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score k_range range(2, 16) inertia_list, sil_list [], [] for k in k_range: m KMeans(n_clustersk, initk-means, n_init10, random_state42).fit(X) inertia_list.append(m.inertia_) # 样本量大时先抽样再算轮廓系数避免 O(n^2) 的距离计算 rng np.random.RandomState(0) sample_idx rng.choice(X.shape[0], min(8000, X.shape[0]), replaceFalse) sil silhouette_score( X[sample_idx], m.predict(X[sample_idx]), sample_size4000 ) sil_list.append(sil)两个指标怎么读inertia 随 K 增大单调下降肘部出现在下降速度从陡变缓的位置那个 K 是信息量增加最快的上限轮廓系数取值 -1 到 1短文本聚类在 0.2 以上就说明簇内有可接受的内聚性0.3 以上算很好。如果整个 K 取值范围内轮廓系数都低于 0.1先别调 K回去查 2.2 的分词和停用词表八成是哈哈点赞这类噪声词没滤干净。Gap Statistic 理论上更严谨但要跑蒙特卡洛参考分布数据上万条后耗时明显论文里作为一句加分项提即可不用真跑。3.4 调 K-means 参数时最容易翻车的三个细节固定 random_state 是第一优先级。不固定种子哪怕同一份数据、同一个 K两次运行的簇编号都会变论文里的图表没法复现答辩现场重跑一遍结果对不上这是最尴尬的场景。第二是碎片簇的处理。跑完先看df[cluster].value_counts()如果出现只有 12 条样本的簇说明 K 偏大或者语料里混入了未清洗干净的异常微博。直接删掉碎片簇是偷懒正确做法是调小 K 或者回到清洗环节把异常样本去掉。第三是数据量上到十万条以后反复扫 2.3 的 K 值范围会很慢那时可以把 KMeans 换成MiniBatchKMeans(batch_size2048, random_state42)速度提升数倍代价是边界样本的簇归属会有轻微波动。所以论文正文里的正式实验一律用标准 KMeansMiniBatch 只作为性能对比实验出现。4. 从 K-means 聚类簇到热点话题关键词、热度公式与可视化4.1 用簇中心向量提取每个话题的关键词聚类做完每个簇是一堆微博要把簇翻译成话题靠的是关键词。最直接的方法KMeans 训练完的 cluster_centers_ 保存了每个簇中心在 TF-IDF 空间里的坐标坐标值最大的那些词就是这个簇区别于其他簇的词。terms vectorizer.get_feature_names_out() order kmeans.cluster_centers_.argsort()[:, ::-1] for i in range(K): top_terms [terms[idx] for idx in order[i, :8]] count (df[cluster] i).sum() print(f簇 {i} 样本数 {count}{ / .join(top_terms)})另一种补充做法是把簇内所有文本拼接后调用 jieba.analyse.extract_tags拿到的是簇内高频词。两者视角不同簇中心词受 IDF 影响强调这个簇独有的词extract_tags 强调这个簇里出现最多的词。实际效果上簇中心词更干净因为 IDF 把每条微博都有的通用词压了下去。最终话题名用中心词 Top1 Top2拼接例如图书馆 闭馆食堂 涨价比单个词可读性强很多。4.2 话题热度打分公式讨论量、互动量与时间衰减聚出簇之后怎么定义热点是论文里最好拿分的公式部分。常见做法是三个因子组合簇内微博数讨论广度、簇内互动量总和传播强度、时间新鲜度衰减惩罚。互动量用 log1p 处理是因为长尾太严重——一条被转发五万次的微博会把同簇其他 200 条微博的权重全部淹没log 把量级差从线性变成边际递减。score(C) (α · ln(1 N_C) β · ln(1 A_C)) · e^(-λ · Δt_C)其中 N_C 是簇内微博数A_C 是簇内转评赞之和Δt_C 是当前时间减去簇内最新一条微博的时间按天算λ 是衰减系数α 和 β 是加权权重满足 α β 1。默认取 α 0.6、β 0.4、λ 0.1/天含义是热度每过 10 天衰减到约 37%。参数选型的依据如下表参数含义建议取值说明α讨论广度权重0.50.7校园话题靠参与人数广度权重略高β传播强度权重0.30.5互动量噪声大权重不宜超过 αλ时间衰减系数0.050.2越大越偏当下热点越小越偏累计热度关于 Δt 用簇内最新微博时间而不是平均时间答辩时值得解释一句最新讨论时间才能反映现在还热不热平均时间会把一个上周爆过、昨天又被人翻出来的旧话题误判成冷门。import numpy as np import pandas as pd def topic_hot_score(group, alpha0.6, beta0.4, lam0.1): N len(group) A (group[reposts_count] group[comments_count] group[attitudes_count]).sum() delta_days max((pd.Timestamp.now() - group[created_at].max()).total_seconds() / 86400, 0) return (alpha * np.log1p(N) beta * np.log1p(A)) * np.exp(-lam * delta_days) scores df.groupby(cluster, group_keysFalse).apply(topic_hot_score) hot_rank scores.sort_values(ascendingFalse) print(hot_rank)这段代码的输出就是最终的热点话题榜单按热度分从高到低排列配合 4.1 的关键词一起展示。4.3 用 pyecharts 输出话题分布与趋势图pyecharts 是毕业设计可视化最省事的选择输出 HTML 文件直接嵌进答辩演示不依赖本地环境。横向条形图展示Top10 热点话题排行折线图展示每个话题的每日微博量趋势。from pyecharts import options as opts from pyecharts.charts import Bar bar Bar() bar.add_xaxis([f话题{i} for i in hot_rank.index[:10]]) bar.add_yaxis( 热度分, [round(v, 2) for v in hot_rank.values[:10]], category_gap40%, ) bar.set_global_opts( title_optsopts.TitleOpts(title校园微博热点话题 Top10), xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)), ) bar.render(hot_topics.html)趋势图的做法是把采集时间窗口拉长到一个月以上按天 resample 每个簇的微博条数把热度前三的话题画成三条折线。注意热度分通常在 010 区间画图时手动设置yaxis_min0, yaxis_max12否则默认的自动坐标轴会把折线拉平看不出变化趋势。只展示静态榜单的话答辩老师多半会问热点怎么随时间变化一张按天统计的趋势图就能把这个问题堵住。5. 答辩前验证簇纯度、事件回灌与结果可复现5.1 簇纯度人工验证表微博文本没有标准标签聚类质量不能用 accuracy论文里常用 Purity 做人工验证。做法是取样本量最大的 3 个簇每簇随机抽 20 条人工给每条标一个真实话题标签然后计算 Purity (1/N) Σₖ maxⱼ |Cₖ ∩ Lⱼ|。Purity 在 0.7 以上论文里可以写聚类结果与人工判读一致性良好。def purity(cluster_assign, true_labels, K): matrix np.zeros((K, len(set(true_labels)))) for pred, true in zip(cluster_assign, true_labels): matrix[pred, true] 1 return matrix.max(axis1).sum() / len(cluster_assign)抽样标注建议直接导出 Excel人工标完再读回来这个操作过程本身也是论文实验设计一节的内容。5.2 已知事件回灌验证比指标更直观的验证方式叫事件回灌。从采集数据里找一个你确定发生过的事件比如期末考试安排公布筛出包含相关关键词的微博检查它们是否被分进同一个簇、该簇是否进入热度榜前 5。判定标准是同簇比例不低于 60%且热度排序在前 5。这个验证在答辩时的说服力远高于任何数值指标因为它直接说明系统能把真实发生的校园事件识别出来。5.3 三个可复现性动作最后一个技巧是提交前把实验环境锁死。第一所有聚类和向量化代码统一固定 seed建议单独写一个常量 SEED 42 放在脚本开头第二在虚拟环境里执行pip freeze requirements.txt把 sklearn、jieba、pandas 的精确版本写进论文附录或随代码提交第三把每次实验的 silhouette、Purity、热点 Top10 结果记录成一张 CSV 表连同代码一起归档。答辩现场如果要复现直接执行python run_pipeline.py --seed 42输出和论文图表一致的结果这个细节能直接回答你的结果可信吗。本文还有配套的精品资源点击获取
