简介面向江西省高校教师岗前培训的《高等教育心理学》题库以单份Word文档整理适合参加岗前培训考试的高校教师、辅导员及需要系统复习教育心理学基础的在职人员自测使用。包内共1个doc文件压缩包约100KB轻量便于打印标注与反复练习。题库按章节编排覆盖心理学概论、教育心理学与高等教育心理学两大模块题型以选择题、填空题为主并附参考答案。第一章围绕心理动力、心理过程、心理状态与心理特征四类成分辨析动机、需要、兴趣、情绪、意志等概念并梳理唯理论、经验论、构造主义、行为主义、精神分析及认知心理学等流派代表人物第二章聚焦桑代克理论在我国的引进改造、高等教育心理学的研究方法观察法、实验法、问卷法、个案法及客观性、发展性、教育性原则延伸至学习心理、教学心理与大学生心理特征等考点。已有65人学习适合考前对照教材刷题、查漏补缺。1. 从一份岗前培训 .doc 到可检索题库先想清楚要拆成什么每年江西省高校教师岗前培训开课前流传最快的往往不是课程安排而是一份《高等教育心理学题库1资料全.doc》。文件本身没有技术含量几百页、七八种题型混排、答案有的跟在题干后、有的整段堆在文末。真正的麻烦在于它是二进制.docpython-docx打开就报错想刷题只能靠 CtrlF 一页页翻。把这份文档当成半结构化数据源路径就清楚了格式归一、题型切分、字段建模、入库检索、组卷刷题。这套做法既适合想把题库变成随身练习工具的参训教师也适合手里握着类似存量 Word 题库、准备接进自有系统的开发者。下面每一步都给可复现的命令和参数。2. 解析高等教育心理学题库 .doc格式归一与题型切分2.1 .doc 不是 .docx三条解析路径怎么选岗前培训题库多由老模板导出扩展名只差一个字母内部结构却完全不同.doc是 OLE 复合二进制文档.docx是 ZIP 封装的 OOXML。python-docx、docx2txt只认后者直接喂.doc会抛PackageNotFoundError或者读出一堆乱码。路径命令/库优点局限格式转换soffice --headless --convert-to docx保留段落、表格、样式需装 LibreOffice首次启动慢纯文本抽取antiword/catdoc快、依赖少丢表格结构选项容易串成一行原生调用win32com调 Word兼容性最好只能跑在装了 Office 的 Windows 上题库大量使用表格排版题干一格、选项一格、答案一格纯文本抽取会把表格拍平后面切分几乎没法做。只要机器上能装 LibreOffice就走第一条路先转.docx再用 Python 精解。2.2 用 LibreOffice 无头模式批量转换# --headless 不弹界面--outdir 指定输出目录 soffice --headless --convert-to docx:MS Word 2007 XML \ --outdir ./converted \ 江西省高校教师岗前培训高等教育心理学题库1资料全.doc--convert-to docx后面显式跟过滤器名MS Word 2007 XML可以避免某些版本把结果认成别的格式。批量转换不要一次塞几百个文件LibreOffice 会复用同一进程内存容易暴涨按 20~50 个一批循环调用更稳。提示转换完先unzip -l xxx.docx | head确认里面有word/document.xml。没有就说明转换失败只是生成了一个空壳。2.3 用 python-docx 同时扫描段落与表格from docx import Document def iter_blocks(path): 按文档顺序产出 (p, 文本) 与 (t, 单元格列表) doc Document(path) for p in doc.paragraphs: t p.text.strip() if t: yield (p, t) for tb in doc.tables: for row in tb.rows: cells [c.text.strip().replace(\n, ) for c in row.cells] # 合并单元格会返回重复引用相邻去重后保留一份 cells [c for i, c in enumerate(cells) if c and (i 0 or c ! cells[i - 1])] if cells: yield (t, cells)doc.paragraphs只给顶层段落表格里的文字不会出现在这里必须单独遍历doc.tables。row.cells遇到合并单元格会返回重复对象直接用会把同一段文字读好几遍所以做了一次相邻去重.replace(\n, )让格内换行的选项压成一行方便后续正则处理。注意doc.paragraphs和doc.tables是两个独立序列产出顺序和 Word 视觉顺序不一致。如果题库是「一段题干 一张选项表」交替排布要改成遍历document.element.body按 XML 节点顺序区分w:p和w:tbl。2.4 正则切分题型、选项、答案与解析高等教育心理学题库的题型大致七类单选、多选、判断、填空、名词解释、简答、论述。切分的锚点只有两个——题号和答案标记。import re RE_QNO re.compile(r^\s*(\d{1,4})\s*[、.)]\s*) RE_TYPE re.compile(r[【\[(]?\s*(单选|多选|判断|填空|名词解释|简答|论述)题?\s*[】\])]?) RE_OPT re.compile(r^\s*([A-H])\s*[、.)]\s*(.)$) RE_ANS re.compile(r[【\[]?\s*(?:正确|参考)?答案\s*[】\]]?\s*[:]?\s*(.)) RE_EXP re.compile(r[【\[]?\s*(?:答案)?解析\s*[】\]]?\s*[:]?\s*(.)) def parse_question(block_lines): q {stem: [], options: {}, answer: None, explain: None, type: None} for line in block_lines: if m : RE_TYPE.search(line[:12]): # 只在前 12 个字符里找题型词 q[type] m.group(1) if m : RE_ANS.search(line): q[answer] m.group(1).strip(); continue if m : RE_EXP.search(line): q[explain] m.group(1).strip(); continue if m : RE_OPT.match(line): q[options][m.group(1)] m.group(2).strip(); continue q[stem].append(RE_QNO.sub(, line, count1)) q[stem] .join(q[stem]).strip() return qRE_TYPE.search(line[:12])限制搜索窗口是为了防止题干正文里出现「判断」「论述」这类词被误判成题型。RE_ANS用(?:正确|参考)?把三种写法一并收进来RE_QNO.sub(..., count1)只剥掉开头题号正文中出现的「1.」不会被动。参数上最值得调的是题型搜索窗口题库写成「单选题」时 12 字符够用写成「一、单项选择题每题 1 分」时得先把「一、二、三」这类大标题行识别成章节名单独抽出而不是硬塞进题干。注意相当多题库把答案统一放在文末「参考答案」章节正文只有题号。这种情况不能按出现顺序对位必须按题号建索引回填否则答案会整体错位——导入成功、题量正常只有抽查才发现全错。3. 江西省高校教师岗前培训题库的字段建模与入库3.1 一道题拆成哪些字段字段类型说明idINTEGER PK自增主键sourceTEXT来源文件如「题库1资料全.doc」chapterTEXT章节/模块如「学习理论」qtypeTEXT单选/多选/判断/填空/简答/论述stemTEXT归一化后的题干optionsTEXTJSON形如{A:...,B:...}判断题为空answerTEXT多选存ABD判断存对/错explainTEXT解析可空stem_hashTEXT UNIQUE题干指纹用于幂等导入与去重difficultyINTEGER1~5默认 3created_atTEXT入库时间关键判断是「选项要不要独立成表」。题库里选项数量固定、永远跟着题干整体读写拆表只会让查一道题变成两次 JOIN存 JSON 更划算。但若后面要做「按干扰项内容搜索」比如找所有含「强化」的错选项就得把选项文本也拼进索引字段而不是留在 JSON 里。3.2 SQLite 建表与 FTS5 全文索引CREATE TABLE question ( id INTEGER PRIMARY KEY AUTOINCREMENT, source TEXT NOT NULL, chapter TEXT, qtype TEXT NOT NULL, stem TEXT NOT NULL, options TEXT DEFAULT {}, answer TEXT, explain TEXT, stem_hash TEXT NOT NULL UNIQUE, difficulty INTEGER DEFAULT 3, created_at TEXT DEFAULT (datetime(now,localtime)) ); CREATE INDEX idx_q_chapter_type ON question(chapter, qtype); -- 中文检索用 trigram 分词器支持任意子串匹配 CREATE VIRTUAL TABLE question_fts USING fts5( stem, options, explain, contentquestion, content_rowidid, tokenizetrigram );contentquestion建的是外部内容表索引不存原文省一半空间代价是增删改要手动同步所以配两个触发器CREATE TRIGGER question_ai AFTER INSERT ON question BEGIN INSERT INTO question_fts(rowid, stem, options, explain) VALUES (new.id, new.stem, new.options, new.explain); END; CREATE TRIGGER question_ad AFTER DELETE ON question BEGIN INSERT INTO question_fts(question_fts, rowid, stem, options, explain) VALUES (delete, old.id, old.stem, old.options, old.explain); END;tokenizetrigram需要 SQLite 3.34 以上它按三字符滑窗建索引中文不分词也能命中 3 字以上的子串代价是索引体积约为原文的 2~3 倍。若经常用两字词检索如「动机」可以换成 jieba 分词后写入stem_seg字段配unicode61或者直接退回LIKE %动机%——题量在几万条以内全表扫的性能其实可以接受。3.3 批量入库与幂等写入import sqlite3, hashlib, re def norm(s: str) - str: # 去掉空白、中英标点与引号差异避免同一道题因排版不同产生两个指纹 return re.sub(r[\s。、()【】\[\]\u201c\u201d\u2018\u2019], , s or ) def stem_hash(stem: str, options: dict) - str: raw norm(stem) | .join(sorted(options.keys())) return hashlib.md5(raw.encode(utf-8)).hexdigest() def save(conn, rows): conn.executemany( INSERT OR IGNORE INTO question (source, chapter, qtype, stem, options, answer, explain, stem_hash) VALUES (:source,:chapter,:qtype,:stem,:options,:answer,:explain,:stem_hash) , rows) conn.commit()指纹只取归一化题干加选项字母不把选项正文算进去——同一道题在不同版本题库里选项措辞常被微调但选项个数和字母基本一致这样能把「改过一点的同一道题」也判成重复。INSERT OR IGNORE配合stem_hash的 UNIQUE 约束让导入脚本可以反复跑不必先清表。参数上executemany每批 500~2000 条比较合适再大会让单次事务的 WAL 文件膨胀导入前执行PRAGMA journal_modeWAL; PRAGMA synchronousNORMAL;几万条的导入能从十几秒压到两三秒。3.4 组合检索关键词 题型 章节-- 找「学习动机」相关、且为多项选择题的记录 SELECT q.id, q.chapter, q.qtype, q.stem, q.options, q.answer FROM question_fts f JOIN question q ON q.id f.rowid WHERE question_fts MATCH 学习动机 AND q.qtype 多选 AND q.chapter LIKE %学习动机% ORDER BY q.id LIMIT 20 OFFSET 0;FTS5 的MATCH只能作用在虚拟表上所以检索条件写在question_fts过滤条件写在question两者用rowid关联。MATCH 学习动机在 trigram 下等价于子串匹配布尔组合可写MATCH 学习动机 AND 自我效能。深翻页时把OFFSET换成WHERE q.id :last_id ORDER BY q.id LIMIT 20的游标分页题量上万后差别很明显。4. 题库去重、纠错与答案校验合并时最容易翻车的地方4.1 归一化不到位去重等于白做.doc转出来的文本里全角半角混用、引号有好几种写法、题号有的带顿号有的带点。归一层要先把这些抹平再做比对import re, unicodedata def normalize(s: str) - str: s unicodedata.normalize(NFKC, s or ) # 全角转半角、兼容字符归一 s re.sub(r^\s*\d{1,4}\s*[、.)]\s*, , s) # 去题号 s re.sub(r[\s。、()【】\[\]], , s) return s.lower()NFKC会顺带处理掉这类全角括号数字和罗马数字兼容字符比手写映射表省事。lower()只对英文有效但题库里的英文术语大小写经常不一致加上没有成本。4.2 三档相似度指纹、SimHash、编辑距离方法适用场景建议阈值MD5 指纹归一化题干完全重复、排版差异相等即重复SimHash 汉明距离长题干、少量增删字距离 ≤ 3编辑距离 / token 集合比短题干、名词解释类相似度 ≥ 0.92判断阈值时记住一句话宁可漏合并不可错合并。把两道不同的题合成一道用户刷题时会出现两个题干一个答案比留下重复题更糟。from rapidfuzz import fuzz def is_dup(a: str, b: str) - bool: a, b normalize(a), normalize(b) if a b: return True if min(len(a), len(b)) 8: # 太短的题干直接比字符集合 return fuzz.token_set_ratio(a, b) 96 return fuzz.ratio(a, b) 92fuzz.ratio是按字符序列算的对中文长题干够用token_set_ratio会先切词再比集合短题干上更宽松所以对 8 字以内的题判断题居多单独放宽到 96 分。这两个数不是拍脑袋定的——先把人工确认过的 100 对重复题和 100 对非重复题跑一遍看准确率和召回率的交叉点落在哪再定阈值。4.3 答案缺失、答案冲突与题型误判答案为空分三种情况处理策略完全不同。第一种是答案在文末集中给出回填即可。第二种是答案本身缺失这种题目保留但打上answer IS NULL标记组卷时默认排除。第三种是答案格式五花八门——判断题有写「对/错」「正确/错误」「T/F」「√/×」的入库前统一成对/错两个值UPDATE question SET answer CASE WHEN answer IN (√,正确,对,是,T,true) THEN 对 WHEN answer IN (×,错误,错,否,F,false) THEN 错 ELSE answer END WHERE qtype 判断;答案冲突指同一stem_hash在两份资料里答案不同。这类记录不要自动取其一而是写进conflict临时表人工过一遍因为岗前培训题库的版本差异恰恰集中在有争议的知识点上。4.4 导入后跑一遍抽样自检-- 各项体检指标任何一项异常都说明切分逻辑出了问题 SELECT COUNT(*) AS 总题量, SUM(answer IS NULL OR answer ) AS 无答案, SUM(qtype IS NULL) AS 无题型, SUM(qtype IN (单选,多选) AND options {}) AS 无选项, COUNT(DISTINCT stem_hash) AS 去重后题量 FROM question;「无选项」这一项最灵敏单选多选如果选项为空基本可以断定是正则没匹配上或者原文用的是「A 选项内容」这种不带分隔符的写法。总题量比上一版突然掉一截也要先怀疑是题型识别窗口把整段题干吞了。5. 组卷与刷题把题库1落成可验证的练习接口5.1 组卷配额章节配比 难度配比 错题加权随机抽题最大的问题是分布不均——高等教育心理学的「学习理论」「学习动机」「品德心理」几章题量本来就不一样纯ORDER BY RANDOM()抽 60 题小章节可能一道不出。import random, sqlite3 def build_paper(conn, total60, weightsNone): weights weights or {} # 形如 {学习理论: 0.25, 学习动机: 0.2} rows conn.execute( SELECT id, chapter, qtype, difficulty FROM question WHERE answer IS NOT NULL ).fetchall() buckets {} for r in rows: buckets.setdefault(r[chapter] or 未分类, []).append(r) paper, used [], set() for ch, w in weights.items(): need int(total * w) pool [r for r in buckets.get(ch, []) if r[id] not in used] # 错题优先错过的题在同一章节内的抽取权重放大 3 倍 picked random.sample(pool, min(need, len(pool))) paper picked used | {r[id] for r in picked} # 余量按全局难度权重补齐难度 4、5 的题不易一次出太多 rest [r for r in rows if r[id] not in used] random.shuffle(rest) paper rest[: total - len(paper)] return paperweights是本套算法唯一需要手调的参数各章权重之和不必等于 1代码里用的是int(total * w)剩余名额由后面的补齐逻辑兜底这样即使某章题量不够也不会组出一张残缺卷。难度配比不要写死在sample里改成先按难度分桶再抽取比事后过滤省事。5.2 错题本与间隔重复参数刷题接口最少要有三张表practice_log每次作答记录、wrong_book错题主键question_id、review_schedule下次复习时间。一个够用的复习间隔表连续答对次数下次复习间隔说明0答错10 分钟后当场重做一遍11 天当天巩固23 天短期记忆转中期37 天稳定后拉长≥421 天进入长期保持这个表比完整 SM-2 简单得多但对岗前培训这种两三个月备考周期的场景更实用——SM-2 的难度因子EF需要几十次作答才收敛而用户可能总共只刷三轮。最后留一个自检习惯每次组卷接口上线前跑一遍「同一用户连续组三张卷章节分布的标准差小于 5%」的断言比事后看用户抱怨题偏了要省事得多。本文还有配套的精品资源点击获取
高校岗前培训高等教育心理学题库：.doc解析入库与FTS5组卷刷题
简介面向江西省高校教师岗前培训的《高等教育心理学》题库以单份Word文档整理适合参加岗前培训考试的高校教师、辅导员及需要系统复习教育心理学基础的在职人员自测使用。包内共1个doc文件压缩包约100KB轻量便于打印标注与反复练习。题库按章节编排覆盖心理学概论、教育心理学与高等教育心理学两大模块题型以选择题、填空题为主并附参考答案。第一章围绕心理动力、心理过程、心理状态与心理特征四类成分辨析动机、需要、兴趣、情绪、意志等概念并梳理唯理论、经验论、构造主义、行为主义、精神分析及认知心理学等流派代表人物第二章聚焦桑代克理论在我国的引进改造、高等教育心理学的研究方法观察法、实验法、问卷法、个案法及客观性、发展性、教育性原则延伸至学习心理、教学心理与大学生心理特征等考点。已有65人学习适合考前对照教材刷题、查漏补缺。1. 从一份岗前培训 .doc 到可检索题库先想清楚要拆成什么每年江西省高校教师岗前培训开课前流传最快的往往不是课程安排而是一份《高等教育心理学题库1资料全.doc》。文件本身没有技术含量几百页、七八种题型混排、答案有的跟在题干后、有的整段堆在文末。真正的麻烦在于它是二进制.docpython-docx打开就报错想刷题只能靠 CtrlF 一页页翻。把这份文档当成半结构化数据源路径就清楚了格式归一、题型切分、字段建模、入库检索、组卷刷题。这套做法既适合想把题库变成随身练习工具的参训教师也适合手里握着类似存量 Word 题库、准备接进自有系统的开发者。下面每一步都给可复现的命令和参数。2. 解析高等教育心理学题库 .doc格式归一与题型切分2.1 .doc 不是 .docx三条解析路径怎么选岗前培训题库多由老模板导出扩展名只差一个字母内部结构却完全不同.doc是 OLE 复合二进制文档.docx是 ZIP 封装的 OOXML。python-docx、docx2txt只认后者直接喂.doc会抛PackageNotFoundError或者读出一堆乱码。路径命令/库优点局限格式转换soffice --headless --convert-to docx保留段落、表格、样式需装 LibreOffice首次启动慢纯文本抽取antiword/catdoc快、依赖少丢表格结构选项容易串成一行原生调用win32com调 Word兼容性最好只能跑在装了 Office 的 Windows 上题库大量使用表格排版题干一格、选项一格、答案一格纯文本抽取会把表格拍平后面切分几乎没法做。只要机器上能装 LibreOffice就走第一条路先转.docx再用 Python 精解。2.2 用 LibreOffice 无头模式批量转换# --headless 不弹界面--outdir 指定输出目录 soffice --headless --convert-to docx:MS Word 2007 XML \ --outdir ./converted \ 江西省高校教师岗前培训高等教育心理学题库1资料全.doc--convert-to docx后面显式跟过滤器名MS Word 2007 XML可以避免某些版本把结果认成别的格式。批量转换不要一次塞几百个文件LibreOffice 会复用同一进程内存容易暴涨按 20~50 个一批循环调用更稳。提示转换完先unzip -l xxx.docx | head确认里面有word/document.xml。没有就说明转换失败只是生成了一个空壳。2.3 用 python-docx 同时扫描段落与表格from docx import Document def iter_blocks(path): 按文档顺序产出 (p, 文本) 与 (t, 单元格列表) doc Document(path) for p in doc.paragraphs: t p.text.strip() if t: yield (p, t) for tb in doc.tables: for row in tb.rows: cells [c.text.strip().replace(\n, ) for c in row.cells] # 合并单元格会返回重复引用相邻去重后保留一份 cells [c for i, c in enumerate(cells) if c and (i 0 or c ! cells[i - 1])] if cells: yield (t, cells)doc.paragraphs只给顶层段落表格里的文字不会出现在这里必须单独遍历doc.tables。row.cells遇到合并单元格会返回重复对象直接用会把同一段文字读好几遍所以做了一次相邻去重.replace(\n, )让格内换行的选项压成一行方便后续正则处理。注意doc.paragraphs和doc.tables是两个独立序列产出顺序和 Word 视觉顺序不一致。如果题库是「一段题干 一张选项表」交替排布要改成遍历document.element.body按 XML 节点顺序区分w:p和w:tbl。2.4 正则切分题型、选项、答案与解析高等教育心理学题库的题型大致七类单选、多选、判断、填空、名词解释、简答、论述。切分的锚点只有两个——题号和答案标记。import re RE_QNO re.compile(r^\s*(\d{1,4})\s*[、.)]\s*) RE_TYPE re.compile(r[【\[(]?\s*(单选|多选|判断|填空|名词解释|简答|论述)题?\s*[】\])]?) RE_OPT re.compile(r^\s*([A-H])\s*[、.)]\s*(.)$) RE_ANS re.compile(r[【\[]?\s*(?:正确|参考)?答案\s*[】\]]?\s*[:]?\s*(.)) RE_EXP re.compile(r[【\[]?\s*(?:答案)?解析\s*[】\]]?\s*[:]?\s*(.)) def parse_question(block_lines): q {stem: [], options: {}, answer: None, explain: None, type: None} for line in block_lines: if m : RE_TYPE.search(line[:12]): # 只在前 12 个字符里找题型词 q[type] m.group(1) if m : RE_ANS.search(line): q[answer] m.group(1).strip(); continue if m : RE_EXP.search(line): q[explain] m.group(1).strip(); continue if m : RE_OPT.match(line): q[options][m.group(1)] m.group(2).strip(); continue q[stem].append(RE_QNO.sub(, line, count1)) q[stem] .join(q[stem]).strip() return qRE_TYPE.search(line[:12])限制搜索窗口是为了防止题干正文里出现「判断」「论述」这类词被误判成题型。RE_ANS用(?:正确|参考)?把三种写法一并收进来RE_QNO.sub(..., count1)只剥掉开头题号正文中出现的「1.」不会被动。参数上最值得调的是题型搜索窗口题库写成「单选题」时 12 字符够用写成「一、单项选择题每题 1 分」时得先把「一、二、三」这类大标题行识别成章节名单独抽出而不是硬塞进题干。注意相当多题库把答案统一放在文末「参考答案」章节正文只有题号。这种情况不能按出现顺序对位必须按题号建索引回填否则答案会整体错位——导入成功、题量正常只有抽查才发现全错。3. 江西省高校教师岗前培训题库的字段建模与入库3.1 一道题拆成哪些字段字段类型说明idINTEGER PK自增主键sourceTEXT来源文件如「题库1资料全.doc」chapterTEXT章节/模块如「学习理论」qtypeTEXT单选/多选/判断/填空/简答/论述stemTEXT归一化后的题干optionsTEXTJSON形如{A:...,B:...}判断题为空answerTEXT多选存ABD判断存对/错explainTEXT解析可空stem_hashTEXT UNIQUE题干指纹用于幂等导入与去重difficultyINTEGER1~5默认 3created_atTEXT入库时间关键判断是「选项要不要独立成表」。题库里选项数量固定、永远跟着题干整体读写拆表只会让查一道题变成两次 JOIN存 JSON 更划算。但若后面要做「按干扰项内容搜索」比如找所有含「强化」的错选项就得把选项文本也拼进索引字段而不是留在 JSON 里。3.2 SQLite 建表与 FTS5 全文索引CREATE TABLE question ( id INTEGER PRIMARY KEY AUTOINCREMENT, source TEXT NOT NULL, chapter TEXT, qtype TEXT NOT NULL, stem TEXT NOT NULL, options TEXT DEFAULT {}, answer TEXT, explain TEXT, stem_hash TEXT NOT NULL UNIQUE, difficulty INTEGER DEFAULT 3, created_at TEXT DEFAULT (datetime(now,localtime)) ); CREATE INDEX idx_q_chapter_type ON question(chapter, qtype); -- 中文检索用 trigram 分词器支持任意子串匹配 CREATE VIRTUAL TABLE question_fts USING fts5( stem, options, explain, contentquestion, content_rowidid, tokenizetrigram );contentquestion建的是外部内容表索引不存原文省一半空间代价是增删改要手动同步所以配两个触发器CREATE TRIGGER question_ai AFTER INSERT ON question BEGIN INSERT INTO question_fts(rowid, stem, options, explain) VALUES (new.id, new.stem, new.options, new.explain); END; CREATE TRIGGER question_ad AFTER DELETE ON question BEGIN INSERT INTO question_fts(question_fts, rowid, stem, options, explain) VALUES (delete, old.id, old.stem, old.options, old.explain); END;tokenizetrigram需要 SQLite 3.34 以上它按三字符滑窗建索引中文不分词也能命中 3 字以上的子串代价是索引体积约为原文的 2~3 倍。若经常用两字词检索如「动机」可以换成 jieba 分词后写入stem_seg字段配unicode61或者直接退回LIKE %动机%——题量在几万条以内全表扫的性能其实可以接受。3.3 批量入库与幂等写入import sqlite3, hashlib, re def norm(s: str) - str: # 去掉空白、中英标点与引号差异避免同一道题因排版不同产生两个指纹 return re.sub(r[\s。、()【】\[\]\u201c\u201d\u2018\u2019], , s or ) def stem_hash(stem: str, options: dict) - str: raw norm(stem) | .join(sorted(options.keys())) return hashlib.md5(raw.encode(utf-8)).hexdigest() def save(conn, rows): conn.executemany( INSERT OR IGNORE INTO question (source, chapter, qtype, stem, options, answer, explain, stem_hash) VALUES (:source,:chapter,:qtype,:stem,:options,:answer,:explain,:stem_hash) , rows) conn.commit()指纹只取归一化题干加选项字母不把选项正文算进去——同一道题在不同版本题库里选项措辞常被微调但选项个数和字母基本一致这样能把「改过一点的同一道题」也判成重复。INSERT OR IGNORE配合stem_hash的 UNIQUE 约束让导入脚本可以反复跑不必先清表。参数上executemany每批 500~2000 条比较合适再大会让单次事务的 WAL 文件膨胀导入前执行PRAGMA journal_modeWAL; PRAGMA synchronousNORMAL;几万条的导入能从十几秒压到两三秒。3.4 组合检索关键词 题型 章节-- 找「学习动机」相关、且为多项选择题的记录 SELECT q.id, q.chapter, q.qtype, q.stem, q.options, q.answer FROM question_fts f JOIN question q ON q.id f.rowid WHERE question_fts MATCH 学习动机 AND q.qtype 多选 AND q.chapter LIKE %学习动机% ORDER BY q.id LIMIT 20 OFFSET 0;FTS5 的MATCH只能作用在虚拟表上所以检索条件写在question_fts过滤条件写在question两者用rowid关联。MATCH 学习动机在 trigram 下等价于子串匹配布尔组合可写MATCH 学习动机 AND 自我效能。深翻页时把OFFSET换成WHERE q.id :last_id ORDER BY q.id LIMIT 20的游标分页题量上万后差别很明显。4. 题库去重、纠错与答案校验合并时最容易翻车的地方4.1 归一化不到位去重等于白做.doc转出来的文本里全角半角混用、引号有好几种写法、题号有的带顿号有的带点。归一层要先把这些抹平再做比对import re, unicodedata def normalize(s: str) - str: s unicodedata.normalize(NFKC, s or ) # 全角转半角、兼容字符归一 s re.sub(r^\s*\d{1,4}\s*[、.)]\s*, , s) # 去题号 s re.sub(r[\s。、()【】\[\]], , s) return s.lower()NFKC会顺带处理掉这类全角括号数字和罗马数字兼容字符比手写映射表省事。lower()只对英文有效但题库里的英文术语大小写经常不一致加上没有成本。4.2 三档相似度指纹、SimHash、编辑距离方法适用场景建议阈值MD5 指纹归一化题干完全重复、排版差异相等即重复SimHash 汉明距离长题干、少量增删字距离 ≤ 3编辑距离 / token 集合比短题干、名词解释类相似度 ≥ 0.92判断阈值时记住一句话宁可漏合并不可错合并。把两道不同的题合成一道用户刷题时会出现两个题干一个答案比留下重复题更糟。from rapidfuzz import fuzz def is_dup(a: str, b: str) - bool: a, b normalize(a), normalize(b) if a b: return True if min(len(a), len(b)) 8: # 太短的题干直接比字符集合 return fuzz.token_set_ratio(a, b) 96 return fuzz.ratio(a, b) 92fuzz.ratio是按字符序列算的对中文长题干够用token_set_ratio会先切词再比集合短题干上更宽松所以对 8 字以内的题判断题居多单独放宽到 96 分。这两个数不是拍脑袋定的——先把人工确认过的 100 对重复题和 100 对非重复题跑一遍看准确率和召回率的交叉点落在哪再定阈值。4.3 答案缺失、答案冲突与题型误判答案为空分三种情况处理策略完全不同。第一种是答案在文末集中给出回填即可。第二种是答案本身缺失这种题目保留但打上answer IS NULL标记组卷时默认排除。第三种是答案格式五花八门——判断题有写「对/错」「正确/错误」「T/F」「√/×」的入库前统一成对/错两个值UPDATE question SET answer CASE WHEN answer IN (√,正确,对,是,T,true) THEN 对 WHEN answer IN (×,错误,错,否,F,false) THEN 错 ELSE answer END WHERE qtype 判断;答案冲突指同一stem_hash在两份资料里答案不同。这类记录不要自动取其一而是写进conflict临时表人工过一遍因为岗前培训题库的版本差异恰恰集中在有争议的知识点上。4.4 导入后跑一遍抽样自检-- 各项体检指标任何一项异常都说明切分逻辑出了问题 SELECT COUNT(*) AS 总题量, SUM(answer IS NULL OR answer ) AS 无答案, SUM(qtype IS NULL) AS 无题型, SUM(qtype IN (单选,多选) AND options {}) AS 无选项, COUNT(DISTINCT stem_hash) AS 去重后题量 FROM question;「无选项」这一项最灵敏单选多选如果选项为空基本可以断定是正则没匹配上或者原文用的是「A 选项内容」这种不带分隔符的写法。总题量比上一版突然掉一截也要先怀疑是题型识别窗口把整段题干吞了。5. 组卷与刷题把题库1落成可验证的练习接口5.1 组卷配额章节配比 难度配比 错题加权随机抽题最大的问题是分布不均——高等教育心理学的「学习理论」「学习动机」「品德心理」几章题量本来就不一样纯ORDER BY RANDOM()抽 60 题小章节可能一道不出。import random, sqlite3 def build_paper(conn, total60, weightsNone): weights weights or {} # 形如 {学习理论: 0.25, 学习动机: 0.2} rows conn.execute( SELECT id, chapter, qtype, difficulty FROM question WHERE answer IS NOT NULL ).fetchall() buckets {} for r in rows: buckets.setdefault(r[chapter] or 未分类, []).append(r) paper, used [], set() for ch, w in weights.items(): need int(total * w) pool [r for r in buckets.get(ch, []) if r[id] not in used] # 错题优先错过的题在同一章节内的抽取权重放大 3 倍 picked random.sample(pool, min(need, len(pool))) paper picked used | {r[id] for r in picked} # 余量按全局难度权重补齐难度 4、5 的题不易一次出太多 rest [r for r in rows if r[id] not in used] random.shuffle(rest) paper rest[: total - len(paper)] return paperweights是本套算法唯一需要手调的参数各章权重之和不必等于 1代码里用的是int(total * w)剩余名额由后面的补齐逻辑兜底这样即使某章题量不够也不会组出一张残缺卷。难度配比不要写死在sample里改成先按难度分桶再抽取比事后过滤省事。5.2 错题本与间隔重复参数刷题接口最少要有三张表practice_log每次作答记录、wrong_book错题主键question_id、review_schedule下次复习时间。一个够用的复习间隔表连续答对次数下次复习间隔说明0答错10 分钟后当场重做一遍11 天当天巩固23 天短期记忆转中期37 天稳定后拉长≥421 天进入长期保持这个表比完整 SM-2 简单得多但对岗前培训这种两三个月备考周期的场景更实用——SM-2 的难度因子EF需要几十次作答才收敛而用户可能总共只刷三轮。最后留一个自检习惯每次组卷接口上线前跑一遍「同一用户连续组三张卷章节分布的标准差小于 5%」的断言比事后看用户抱怨题偏了要省事得多。本文还有配套的精品资源点击获取
