简介面向自然语言处理初学者和聊天机器人开发者这是一个基于jieba分词构建的中文智能对话系统源码包。项目完整覆盖从用户输入理解、知识库匹配到回复生成的流程包含分词、词性标注、关键词提取等基础功能并预留上下文管理与持续学习优化思路配套预处理脚本、测试脚本、问答样本及预训练模型文件可直接运行demo体验对话效果。资源共14个文件以Python脚本、TensorFlow模型文件checkpoint、index、meta、data、问答文本和配置xml为主压缩包仅447KB轻量易读。已有248人学习下载。读者可结合源码与示例问答快速掌握jieba在中文Chatbot中的实际用法理解分词结果如何驱动意图识别与回复匹配也可基于现有模块替换知识库或扩展语料将其改造为课程设计、毕业设计或小型智能客服原型。1. 中文聊天智能聊天机器人chatbot源码先跑通再谈智能拿到一份中文聊天机器人chatbot源码最打击人的不是模型不够聪明而是本地一跑回答要么答非所问要么永远在“嗯嗯”。问题往往不在AI上而在分词、匹配和语料这三块没有被串起来。本文聊的是检索式对话机器人的实现思路不依赖GPU不引入大模型推理服务真正关心的是中文文本进来之后经过什么样的代码路径才能变成一句像样的回答。适合正在看开源项目、准备做毕业设计或内部客服问答系统的开发者你不需要懂深度学习但需要能看懂Python代码并且愿意为一条异常回答翻日志。2. 中文聊天机器人chatbot源码的核心选型检索式还是生成式2.1 为什么中文场景优先看检索式源码聊天机器人按实现方式分两条路线生成式和检索式。生成式用Seq2Seq或Transformer训练一个“根据上文生成下文”的模型听起来更智能但中文语料动辄几十万轮清洗成本极高而且生成结果不可控——用户问“你们几点下班”它可能回“我不知道你在说什么”。检索式则是从预置的问答库里找出最相似的问题把对应答案返回给用户逻辑透明、响应快、易于调试非常契合“拿到源码先改改看”的场景。这里要泼一盆冷水市面上一部分标着“智能聊天机器人chatbot源码”的项目核心代码只是一个if keyword in question的字典匹配器换个说法就失效比如换个词序、加个语气词整个回答就乱了。真正的检索式实现至少要包含三层逻辑分词与向量化、相似度计算、阈值过滤与回复策略。三层缺一层源码就只能demo级跑通上不了真实场景。2.2 一句话说清三个模块分词、匹配、对话管理我一般会把中文聊天机器人chatbot源码拆成三个模块来读这样排查问题最快。分词模块负责把“你们公司几点上班”切成“你们/公司/几点/上班”这样的词序列。中文分词不同于英文按空格切分选错分词器会直接拉低匹配准确率。匹配模块是核心先把每个问题转成向量再计算用户输入与语料库每条问题的相似度。对话管理模块决定“相似度多高才算匹配上”以及匹配不上时回什么话——很多源码把兜底回复写成一个死字符串“我不明白你的意思”导致用户一问到边界就直接流失。2.3 用jiebaTF-IDF搭建最小可用检索式框架先看一段最精简的检索匹配代码这是整个源码的主干逻辑后面所有优化都围绕这段展开import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 语料库问题和答案成对存放 qa_pairs [ {question: 你们几点上班, answer: 我们早上九点上班}, {question: 怎么联系客服, answer: 客服电话是400-800-1234}, {question: 产品怎么退款, answer: 订单页点击退款1-3个工作日到账}, ] # 第一步中文分词 def tokenize(text): return .join(jieba.cut(text)) corpus [tokenize(qa[question]) for qa in qa_pairs] # 第二步用TF-IDF把分词结果转成向量 vectorizer TfidfVectorizer() tfidf_matrix vectorizer.fit_transform(corpus) # 第三步计算用户输入与所有语料的余弦相似度 def match(user_input, threshold0.4): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] best_idx scores.argmax() if scores[best_idx] threshold: return 我还没学会这个问题换个说法试试, 0.0 return qa_pairs[best_idx][answer], round(float(scores[best_idx]), 4) print(match(几点上班)) # 输出回答和相似度 print(match(怎么退款)) # 输出回答和相似度这里分词、向量化、相似度计算各占一行主逻辑必须拆开看。jieba.cut返回的是一个生成器用空格拼起来是因为TfidfVectorizer默认按空白符切词如果不做这一步TF-IDF会把整句话当成一个词词频统计完全失去意义。cosine_similarity计算的是用户输入与每个语料样本之间的夹角余弦值范围在0到1之间1表示完全相同0表示毫无关联。阈值0.4是我在小型问答库上常用的起点语料越少阈值要越低这个参数后面会细说。2.4 源码目录怎么组织才能不跑崩拿到一个chatbot源码项目先看目录再运行能省一半排错时间。我建议的最小目录结构如下目录或文件作用缺失时的症状data/qa.json存放问答对统一用JSON格式程序启动报FileNotFoundErrorcore/tokenizer.py封装所有分词逻辑匹配模块代码里到处是jieba难以替换core/matcher.py向量化和相似度计算算法逻辑与业务逻辑耦合改阈值得翻整个文件server/app.pyHTTP接口层命令行能跑但无法接入业务系统tests/回归测试改一个分词器不知道哪条问答开始答非所问很多开源源码把问答对写死在Python列表里扩展语料要改代码非常不利于维护。直接改成读json文件语料和代码分离线上更新问答不需要重启服务这才是能落地的工程结构。3. 让中文聊天机器人chatbot源码跑通的最小实现3.1 环境准备与依赖安装先把运行环境准备好。下面这份依赖清单只保留真正用到的包不堆没用的python -m venv venv source venv/bin/activate pip install jieba scikit-learn flask pytestscikit-learn提供TfidfVectorizer和cosine_similarity是整个检索式实现的核心jieba负责中文分词flask是最后封装HTTP服务用的前期跑命令行可以不装pytest用来写回归测试后面调试时会发现它的价值。不要一上来就装torch或transformers检索式方案用不到装了只是白白占用几个G的磁盘空间。3.2 语料准备用JSON还是纯文本语料准备是源码能跑多好最关键的一步。常见做法是把问答对放进data/qa.json格式如下[ { question: 你们几点上班, answer: 我们早上九点到下午六点上班, category: company_info }, { question: 怎么联系客服, answer: 客服电话是400-800-1234, category: support } ]每个问答对加一个category字段是为了后面做分模块匹配。比如客服咨询和产品退款是两类完全不同的问答放在一起算相似度会有干扰有了分类字段可以先按类别过滤再匹配准确率会好很多。JSON格式比纯文本的优势是结构化新增字段不用改解析逻辑缺点是文件大时加载慢但几千条问答完全没问题。3.3 核心匹配函数余弦相似度与阈值控制匹配函数是源码的灵魂这一节把参数讲透。下面的代码升级了上一章的版本加入了停用词过滤和归一化处理import jieba import json import re from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 加载语料 with open(data/qa.json, r, encodingutf-8) as f: qa_pairs json.load(f) # 停用词表这些词对语义区分没有贡献 STOP_WORDS set([的, 了, 吗, 呢, 啊, 你们, 我, 是, 在, 有]) def tokenize(text): # 去除标点符号 text re.sub(r[^\w\u4e00-\u9fa5], , text) words jieba.cut(text) return .join(w for w in words if w not in STOP_WORDS) corpus [tokenize(qa[question]) for qa in qa_pairs] vectorizer TfidfVectorizer() tfidf_matrix vectorizer.fit_transform(corpus) def get_answer(user_input, threshold0.45): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] best_idx int(scores.argmax()) best_score float(scores[best_idx]) # 分数低于阈值视为未命中 if best_score threshold: return 这个问题我还没收录试试问“客服电话”或“上班时间”。, best_score return qa_pairs[best_idx][answer], best_score参数说明如下停用词表里保留“你们”是因为它在客服场景里频繁出现但信息量低但注意不要过度过滤如果把“怎么”“哪里”也加进去疑问句的核心信息会被滤光匹配结果反而不准。正则re.sub(r[^\w\u4e00-\u9fa5], , text)是用来去掉中英文标点的因为“你好”和“你好”在分词后必须视为同一个问题。阈值threshold0.45不是玄学它取决于语料规模语料只有几十条时问题之间区分度低阈值设太高会导致什么都匹配不上语料上千条时相似度普遍被拉低0.3反而更合理。后面会用一张表展开讲。3.4 加入意图规则让常见中文打招呼稳定应答纯靠相似度匹配有个缺陷用户说“你好”和“hi”分词语料里根本找不到对应关系因为“hi”分词后是“hi”跟“你好”没有任何共现词相似度永远是0。这时候就要叠加一层意图规则。import re INTENT_RULES [ {pattern: r你好|您好|hi|hello|在吗, answer: 你好有什么可以帮你}, {pattern: r谢谢|多谢|辛苦了, answer: 不客气有其他问题随时问我。}, {pattern: r再见|拜拜|下次聊, answer: 再见有需要再来找我。}, ] def intent_match(user_input): for rule in INTENT_RULES: if re.search(rule[pattern], user_input, re.IGNORECASE): return rule[answer] return None def chat(user_input): # 先走意图规则命中就直接返回 reply intent_match(user_input) if reply: return reply, 1.0 # 未命中再走检索式匹配 return get_answer(user_input) print(chat(你好)) # 命中意图规则 print(chat(hi)) # 命中意图规则不受分词影响 print(chat(上班时间)) # 走TF-IDF检索这层规则表最适合处理高频但低频词的场景。注意正则匹配要放到检索之前否则“你好”会被强行拿去跟语料库算相似度即使得分很低、被兜底回复接住体验也很差。顺序是先规则、后检索、最后兜底这个流程在业务型chatbot源码里几乎是标配。4. 调参数让chatbot源码从“谁都能跑”到“能上小场景”4.1 相似度阈值0.3还是0.7阈值是检索式聊天机器人最重要的旋钮没有之一。很多人拿到源码后发现有些问题明明有语料却答非所问第一反应是模型不够好其实只是阈值没调对。阈值区间实际效果适用场景0.1 - 0.3召回率高但误报多答非所问频繁语料少于100条、问答表达差异极大的场景0.4 - 0.6均衡区大多数问题能命中且精度可接受中小型知识库100到5000条问答0.7 以上精度极高但召回很低用户换种说法就拒答专业领域固定问答如法规条款查询我一般会先设0.4跑一轮把用户真实提问日志打出来看相似度分布如果大部分正确命中的问题分数在0.5到0.7之间那阈值设0.45比较稳如果老有该命中的问题落在0.3以下说明分词或停用词表出了问题这时候别盲目降阈值而是去查分词结果。4.2 分词器与停用词对中文匹配的影响实际调试中我发现匹配不准的原因往往不是算法而是分词。举例“退款到账时间”这个词组jieba.cut默认可能切成“退款/到账/时间”但如果语料里写的是“退款什么时候到”分词是“退款/什么/时候/到”公共词只剩“退款”相似度被稀释得很低。解法有两个一是自定义词典把业务专有名词强制成完整词import jieba jieba.add_word(退款到账) jieba.add_word(联系客服) print(jieba.lcut(退款到账时间要多久)) # 输出: [退款到账, 时间, 要, 多久]二是调停用词表。注意“什么”“怎么”“多久”这类疑问词单独看来信息量不高但在语料中保留了它们能帮助匹配到同类问法。我的经验是停用词只删那些在几乎所有问答里都出现的词比如“的”“了”“吗”而不是凭感觉删。4.3 返回答案排序和后处理当语料库变大后一个问题可能命中多条高分答案这时候排序逻辑就很重要。基础版只返回最高分那一条但实际业务中用户可能同时问到“上班时间和地点”而语料库中这两者是分开存储的简单取最大值就漏掉了另一半信息。处理办法是取Top-K条结果再合并答案from heapq import nlargest def get_top_answers(user_input, k3, threshold0.3): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] top_indices nlargest(k, range(len(scores)), keylambda i: scores[i]) results [] for idx in top_indices: score float(scores[idx]) if score threshold: results.append({ answer: qa_pairs[idx][answer], score: score, category: qa_pairs[idx].get(category, ) }) return results这里的k控制返回条数threshold控制最低分。返回多个答案后前端可以展示为“你可能想问”的列表也可以直接把结果拼接成一句话。注意拼接时要去重不同问题可能映射到同一个答案重复输出会很蠢。4.4 小规模语料扩增问句改写与同义替换语料只有几十条时无论怎么调阈值覆盖不了用户的多样表达。与其硬调算法不如直接扩增语料。常见做法是用同义替换生成问法的扩展版本# 人工定义同义表达加入语料库 SYNONYMS { 几点: [什么时间, 什么时候], 怎么联系: [如何联系, 电话是多少], } def expand_questions(raw_qa_pairs, synonyms): expanded [] for qa in raw_qa_pairs: expanded.append(qa) question qa[question] for key, values in synonyms.items(): if key in question: for value in values: new_q question.replace(key, value) expanded.append({question: new_q, answer: qa[answer]}) return expanded这种方法比训练模型便宜得多而且可控你只扩展业务内的核心词不引入未知风险。但注意扩增后语料内部会出现大量高度相似的问题这时阈值要相应调高一点否则同一条问题会同时命中多个扩展句返回的答案虽然一样但排序会波动。5. 进阶把中文聊天机器人chatbot源码改造成可维护的小服务5.1 用Flask把匹配函数封装成HTTP接口命令行能跑通只是第一步真实场景里聊天机器人要通过接口对外提供服务。下面用Flask把前面写好的匹配逻辑封装成HTTP接口from flask import Flask, request, jsonify app Flask(__name__) app.route(/chat, methods[POST]) def chat_api(): data request.get_json() user_input data.get(message, ).strip() if not user_input: return jsonify({error: message 不能为空}), 400 # 先走意图规则再走检索式匹配 reply intent_match(user_input) score 1.0 if not reply: reply, score get_answer(user_input) return jsonify({ reply: reply, score: score, threshold: 0.45 }) if __name__ __main__: app.run(host0.0.0.0, port8000, debugFalse)接口参数说明host0.0.0.0表示允许外部访问如果只在本地调试可以改成127.0.0.1port选择8000是为了避开常见的5000端口冲突debugFalse必须显式设置生产环境开debug模式会暴露堆栈信息有安全风险。调接口时用POST请求body格式为{message: 你们几点上班}响应里带回复文本和相似度分数方便前端根据分数决定是否触发人工客服。5.2 日志与调试每次回答都能回溯聊天机器人上线后最痛苦的事情是用户说某个问题答得不对但你不知道系统当时到底匹配到了哪条语料。解决办法是在接口层加日志import logging import time logging.basicConfig( filenamechat.log, levellogging.INFO, format%(asctime)s %(levelname)s %(message)s ) def chat_with_log(user_input): start time.time() reply intent_match(user_input) source intent score 1.0 if not reply: reply, score get_answer(user_input) source retrieval elapsed time.time() - start logging.info( input%s reply%s score%.4f source%s cost%.2fms, user_input, reply, score, source, elapsed * 1000 ) return reply日志字段里source标记本轮回答来自意图规则还是检索匹配score记录检索分数cost记录耗时。出现异常回答时翻开日志看这3个字段就够了分数很低但返回了答案说明阈值太低sourceretrieval却答非所问多半是语料里存在相似问题干扰排序耗时过高说明语料规模需要优化。5.3 用pytest写三个回归用例锁住行为改代码最怕改一处坏一片回归测试可以把常见问题锁死。在tests/test_chat.py里写入以下三个用例import pytest from core.chat import chat def test_intent_greeting(): reply, score chat(你好) assert score 1.0 assert 你好 in reply def test_retrieval_match(): reply, score chat(你们几点上班) assert score 0.4 assert 九点 in reply def test_fallback_when_unknown(): reply, score chat(量子计算的最新进展是什么) assert score 0.45 assert 还没收录 in reply三个用例分别覆盖意图命中、检索匹配和兜底拒答三条路径任何一条路径被改坏跑pytest都会立刻暴露。第一个用例断言score 1.0是为了确保意图规则优先于检索匹配第二个用例的阈值断言和chat函数里的阈值保持一致一旦有人调整了默认阈值测试会提醒你重新审视它对现有问答的影响第三个用例反其道而行之验证未知问题不会被随便答一句这在真实场景里比多答对一个更值钱因为答错比拒答更伤用户信任。本文还有配套的精品资源点击获取
中文聊天机器人chatbot源码实战：基于jieba+TF-IDF的检索式问答系统搭建
简介面向自然语言处理初学者和聊天机器人开发者这是一个基于jieba分词构建的中文智能对话系统源码包。项目完整覆盖从用户输入理解、知识库匹配到回复生成的流程包含分词、词性标注、关键词提取等基础功能并预留上下文管理与持续学习优化思路配套预处理脚本、测试脚本、问答样本及预训练模型文件可直接运行demo体验对话效果。资源共14个文件以Python脚本、TensorFlow模型文件checkpoint、index、meta、data、问答文本和配置xml为主压缩包仅447KB轻量易读。已有248人学习下载。读者可结合源码与示例问答快速掌握jieba在中文Chatbot中的实际用法理解分词结果如何驱动意图识别与回复匹配也可基于现有模块替换知识库或扩展语料将其改造为课程设计、毕业设计或小型智能客服原型。1. 中文聊天智能聊天机器人chatbot源码先跑通再谈智能拿到一份中文聊天机器人chatbot源码最打击人的不是模型不够聪明而是本地一跑回答要么答非所问要么永远在“嗯嗯”。问题往往不在AI上而在分词、匹配和语料这三块没有被串起来。本文聊的是检索式对话机器人的实现思路不依赖GPU不引入大模型推理服务真正关心的是中文文本进来之后经过什么样的代码路径才能变成一句像样的回答。适合正在看开源项目、准备做毕业设计或内部客服问答系统的开发者你不需要懂深度学习但需要能看懂Python代码并且愿意为一条异常回答翻日志。2. 中文聊天机器人chatbot源码的核心选型检索式还是生成式2.1 为什么中文场景优先看检索式源码聊天机器人按实现方式分两条路线生成式和检索式。生成式用Seq2Seq或Transformer训练一个“根据上文生成下文”的模型听起来更智能但中文语料动辄几十万轮清洗成本极高而且生成结果不可控——用户问“你们几点下班”它可能回“我不知道你在说什么”。检索式则是从预置的问答库里找出最相似的问题把对应答案返回给用户逻辑透明、响应快、易于调试非常契合“拿到源码先改改看”的场景。这里要泼一盆冷水市面上一部分标着“智能聊天机器人chatbot源码”的项目核心代码只是一个if keyword in question的字典匹配器换个说法就失效比如换个词序、加个语气词整个回答就乱了。真正的检索式实现至少要包含三层逻辑分词与向量化、相似度计算、阈值过滤与回复策略。三层缺一层源码就只能demo级跑通上不了真实场景。2.2 一句话说清三个模块分词、匹配、对话管理我一般会把中文聊天机器人chatbot源码拆成三个模块来读这样排查问题最快。分词模块负责把“你们公司几点上班”切成“你们/公司/几点/上班”这样的词序列。中文分词不同于英文按空格切分选错分词器会直接拉低匹配准确率。匹配模块是核心先把每个问题转成向量再计算用户输入与语料库每条问题的相似度。对话管理模块决定“相似度多高才算匹配上”以及匹配不上时回什么话——很多源码把兜底回复写成一个死字符串“我不明白你的意思”导致用户一问到边界就直接流失。2.3 用jiebaTF-IDF搭建最小可用检索式框架先看一段最精简的检索匹配代码这是整个源码的主干逻辑后面所有优化都围绕这段展开import jieba from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 语料库问题和答案成对存放 qa_pairs [ {question: 你们几点上班, answer: 我们早上九点上班}, {question: 怎么联系客服, answer: 客服电话是400-800-1234}, {question: 产品怎么退款, answer: 订单页点击退款1-3个工作日到账}, ] # 第一步中文分词 def tokenize(text): return .join(jieba.cut(text)) corpus [tokenize(qa[question]) for qa in qa_pairs] # 第二步用TF-IDF把分词结果转成向量 vectorizer TfidfVectorizer() tfidf_matrix vectorizer.fit_transform(corpus) # 第三步计算用户输入与所有语料的余弦相似度 def match(user_input, threshold0.4): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] best_idx scores.argmax() if scores[best_idx] threshold: return 我还没学会这个问题换个说法试试, 0.0 return qa_pairs[best_idx][answer], round(float(scores[best_idx]), 4) print(match(几点上班)) # 输出回答和相似度 print(match(怎么退款)) # 输出回答和相似度这里分词、向量化、相似度计算各占一行主逻辑必须拆开看。jieba.cut返回的是一个生成器用空格拼起来是因为TfidfVectorizer默认按空白符切词如果不做这一步TF-IDF会把整句话当成一个词词频统计完全失去意义。cosine_similarity计算的是用户输入与每个语料样本之间的夹角余弦值范围在0到1之间1表示完全相同0表示毫无关联。阈值0.4是我在小型问答库上常用的起点语料越少阈值要越低这个参数后面会细说。2.4 源码目录怎么组织才能不跑崩拿到一个chatbot源码项目先看目录再运行能省一半排错时间。我建议的最小目录结构如下目录或文件作用缺失时的症状data/qa.json存放问答对统一用JSON格式程序启动报FileNotFoundErrorcore/tokenizer.py封装所有分词逻辑匹配模块代码里到处是jieba难以替换core/matcher.py向量化和相似度计算算法逻辑与业务逻辑耦合改阈值得翻整个文件server/app.pyHTTP接口层命令行能跑但无法接入业务系统tests/回归测试改一个分词器不知道哪条问答开始答非所问很多开源源码把问答对写死在Python列表里扩展语料要改代码非常不利于维护。直接改成读json文件语料和代码分离线上更新问答不需要重启服务这才是能落地的工程结构。3. 让中文聊天机器人chatbot源码跑通的最小实现3.1 环境准备与依赖安装先把运行环境准备好。下面这份依赖清单只保留真正用到的包不堆没用的python -m venv venv source venv/bin/activate pip install jieba scikit-learn flask pytestscikit-learn提供TfidfVectorizer和cosine_similarity是整个检索式实现的核心jieba负责中文分词flask是最后封装HTTP服务用的前期跑命令行可以不装pytest用来写回归测试后面调试时会发现它的价值。不要一上来就装torch或transformers检索式方案用不到装了只是白白占用几个G的磁盘空间。3.2 语料准备用JSON还是纯文本语料准备是源码能跑多好最关键的一步。常见做法是把问答对放进data/qa.json格式如下[ { question: 你们几点上班, answer: 我们早上九点到下午六点上班, category: company_info }, { question: 怎么联系客服, answer: 客服电话是400-800-1234, category: support } ]每个问答对加一个category字段是为了后面做分模块匹配。比如客服咨询和产品退款是两类完全不同的问答放在一起算相似度会有干扰有了分类字段可以先按类别过滤再匹配准确率会好很多。JSON格式比纯文本的优势是结构化新增字段不用改解析逻辑缺点是文件大时加载慢但几千条问答完全没问题。3.3 核心匹配函数余弦相似度与阈值控制匹配函数是源码的灵魂这一节把参数讲透。下面的代码升级了上一章的版本加入了停用词过滤和归一化处理import jieba import json import re from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 加载语料 with open(data/qa.json, r, encodingutf-8) as f: qa_pairs json.load(f) # 停用词表这些词对语义区分没有贡献 STOP_WORDS set([的, 了, 吗, 呢, 啊, 你们, 我, 是, 在, 有]) def tokenize(text): # 去除标点符号 text re.sub(r[^\w\u4e00-\u9fa5], , text) words jieba.cut(text) return .join(w for w in words if w not in STOP_WORDS) corpus [tokenize(qa[question]) for qa in qa_pairs] vectorizer TfidfVectorizer() tfidf_matrix vectorizer.fit_transform(corpus) def get_answer(user_input, threshold0.45): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] best_idx int(scores.argmax()) best_score float(scores[best_idx]) # 分数低于阈值视为未命中 if best_score threshold: return 这个问题我还没收录试试问“客服电话”或“上班时间”。, best_score return qa_pairs[best_idx][answer], best_score参数说明如下停用词表里保留“你们”是因为它在客服场景里频繁出现但信息量低但注意不要过度过滤如果把“怎么”“哪里”也加进去疑问句的核心信息会被滤光匹配结果反而不准。正则re.sub(r[^\w\u4e00-\u9fa5], , text)是用来去掉中英文标点的因为“你好”和“你好”在分词后必须视为同一个问题。阈值threshold0.45不是玄学它取决于语料规模语料只有几十条时问题之间区分度低阈值设太高会导致什么都匹配不上语料上千条时相似度普遍被拉低0.3反而更合理。后面会用一张表展开讲。3.4 加入意图规则让常见中文打招呼稳定应答纯靠相似度匹配有个缺陷用户说“你好”和“hi”分词语料里根本找不到对应关系因为“hi”分词后是“hi”跟“你好”没有任何共现词相似度永远是0。这时候就要叠加一层意图规则。import re INTENT_RULES [ {pattern: r你好|您好|hi|hello|在吗, answer: 你好有什么可以帮你}, {pattern: r谢谢|多谢|辛苦了, answer: 不客气有其他问题随时问我。}, {pattern: r再见|拜拜|下次聊, answer: 再见有需要再来找我。}, ] def intent_match(user_input): for rule in INTENT_RULES: if re.search(rule[pattern], user_input, re.IGNORECASE): return rule[answer] return None def chat(user_input): # 先走意图规则命中就直接返回 reply intent_match(user_input) if reply: return reply, 1.0 # 未命中再走检索式匹配 return get_answer(user_input) print(chat(你好)) # 命中意图规则 print(chat(hi)) # 命中意图规则不受分词影响 print(chat(上班时间)) # 走TF-IDF检索这层规则表最适合处理高频但低频词的场景。注意正则匹配要放到检索之前否则“你好”会被强行拿去跟语料库算相似度即使得分很低、被兜底回复接住体验也很差。顺序是先规则、后检索、最后兜底这个流程在业务型chatbot源码里几乎是标配。4. 调参数让chatbot源码从“谁都能跑”到“能上小场景”4.1 相似度阈值0.3还是0.7阈值是检索式聊天机器人最重要的旋钮没有之一。很多人拿到源码后发现有些问题明明有语料却答非所问第一反应是模型不够好其实只是阈值没调对。阈值区间实际效果适用场景0.1 - 0.3召回率高但误报多答非所问频繁语料少于100条、问答表达差异极大的场景0.4 - 0.6均衡区大多数问题能命中且精度可接受中小型知识库100到5000条问答0.7 以上精度极高但召回很低用户换种说法就拒答专业领域固定问答如法规条款查询我一般会先设0.4跑一轮把用户真实提问日志打出来看相似度分布如果大部分正确命中的问题分数在0.5到0.7之间那阈值设0.45比较稳如果老有该命中的问题落在0.3以下说明分词或停用词表出了问题这时候别盲目降阈值而是去查分词结果。4.2 分词器与停用词对中文匹配的影响实际调试中我发现匹配不准的原因往往不是算法而是分词。举例“退款到账时间”这个词组jieba.cut默认可能切成“退款/到账/时间”但如果语料里写的是“退款什么时候到”分词是“退款/什么/时候/到”公共词只剩“退款”相似度被稀释得很低。解法有两个一是自定义词典把业务专有名词强制成完整词import jieba jieba.add_word(退款到账) jieba.add_word(联系客服) print(jieba.lcut(退款到账时间要多久)) # 输出: [退款到账, 时间, 要, 多久]二是调停用词表。注意“什么”“怎么”“多久”这类疑问词单独看来信息量不高但在语料中保留了它们能帮助匹配到同类问法。我的经验是停用词只删那些在几乎所有问答里都出现的词比如“的”“了”“吗”而不是凭感觉删。4.3 返回答案排序和后处理当语料库变大后一个问题可能命中多条高分答案这时候排序逻辑就很重要。基础版只返回最高分那一条但实际业务中用户可能同时问到“上班时间和地点”而语料库中这两者是分开存储的简单取最大值就漏掉了另一半信息。处理办法是取Top-K条结果再合并答案from heapq import nlargest def get_top_answers(user_input, k3, threshold0.3): user_vec vectorizer.transform([tokenize(user_input)]) scores cosine_similarity(user_vec, tfidf_matrix)[0] top_indices nlargest(k, range(len(scores)), keylambda i: scores[i]) results [] for idx in top_indices: score float(scores[idx]) if score threshold: results.append({ answer: qa_pairs[idx][answer], score: score, category: qa_pairs[idx].get(category, ) }) return results这里的k控制返回条数threshold控制最低分。返回多个答案后前端可以展示为“你可能想问”的列表也可以直接把结果拼接成一句话。注意拼接时要去重不同问题可能映射到同一个答案重复输出会很蠢。4.4 小规模语料扩增问句改写与同义替换语料只有几十条时无论怎么调阈值覆盖不了用户的多样表达。与其硬调算法不如直接扩增语料。常见做法是用同义替换生成问法的扩展版本# 人工定义同义表达加入语料库 SYNONYMS { 几点: [什么时间, 什么时候], 怎么联系: [如何联系, 电话是多少], } def expand_questions(raw_qa_pairs, synonyms): expanded [] for qa in raw_qa_pairs: expanded.append(qa) question qa[question] for key, values in synonyms.items(): if key in question: for value in values: new_q question.replace(key, value) expanded.append({question: new_q, answer: qa[answer]}) return expanded这种方法比训练模型便宜得多而且可控你只扩展业务内的核心词不引入未知风险。但注意扩增后语料内部会出现大量高度相似的问题这时阈值要相应调高一点否则同一条问题会同时命中多个扩展句返回的答案虽然一样但排序会波动。5. 进阶把中文聊天机器人chatbot源码改造成可维护的小服务5.1 用Flask把匹配函数封装成HTTP接口命令行能跑通只是第一步真实场景里聊天机器人要通过接口对外提供服务。下面用Flask把前面写好的匹配逻辑封装成HTTP接口from flask import Flask, request, jsonify app Flask(__name__) app.route(/chat, methods[POST]) def chat_api(): data request.get_json() user_input data.get(message, ).strip() if not user_input: return jsonify({error: message 不能为空}), 400 # 先走意图规则再走检索式匹配 reply intent_match(user_input) score 1.0 if not reply: reply, score get_answer(user_input) return jsonify({ reply: reply, score: score, threshold: 0.45 }) if __name__ __main__: app.run(host0.0.0.0, port8000, debugFalse)接口参数说明host0.0.0.0表示允许外部访问如果只在本地调试可以改成127.0.0.1port选择8000是为了避开常见的5000端口冲突debugFalse必须显式设置生产环境开debug模式会暴露堆栈信息有安全风险。调接口时用POST请求body格式为{message: 你们几点上班}响应里带回复文本和相似度分数方便前端根据分数决定是否触发人工客服。5.2 日志与调试每次回答都能回溯聊天机器人上线后最痛苦的事情是用户说某个问题答得不对但你不知道系统当时到底匹配到了哪条语料。解决办法是在接口层加日志import logging import time logging.basicConfig( filenamechat.log, levellogging.INFO, format%(asctime)s %(levelname)s %(message)s ) def chat_with_log(user_input): start time.time() reply intent_match(user_input) source intent score 1.0 if not reply: reply, score get_answer(user_input) source retrieval elapsed time.time() - start logging.info( input%s reply%s score%.4f source%s cost%.2fms, user_input, reply, score, source, elapsed * 1000 ) return reply日志字段里source标记本轮回答来自意图规则还是检索匹配score记录检索分数cost记录耗时。出现异常回答时翻开日志看这3个字段就够了分数很低但返回了答案说明阈值太低sourceretrieval却答非所问多半是语料里存在相似问题干扰排序耗时过高说明语料规模需要优化。5.3 用pytest写三个回归用例锁住行为改代码最怕改一处坏一片回归测试可以把常见问题锁死。在tests/test_chat.py里写入以下三个用例import pytest from core.chat import chat def test_intent_greeting(): reply, score chat(你好) assert score 1.0 assert 你好 in reply def test_retrieval_match(): reply, score chat(你们几点上班) assert score 0.4 assert 九点 in reply def test_fallback_when_unknown(): reply, score chat(量子计算的最新进展是什么) assert score 0.45 assert 还没收录 in reply三个用例分别覆盖意图命中、检索匹配和兜底拒答三条路径任何一条路径被改坏跑pytest都会立刻暴露。第一个用例断言score 1.0是为了确保意图规则优先于检索匹配第二个用例的阈值断言和chat函数里的阈值保持一致一旦有人调整了默认阈值测试会提醒你重新审视它对现有问答的影响第三个用例反其道而行之验证未知问题不会被随便答一句这在真实场景里比多答对一个更值钱因为答错比拒答更伤用户信任。本文还有配套的精品资源点击获取
