AI 大模型产品测试的面试已经不再是传统功能测试那套问法。面试官会直接问大模型的推理机制、评测指标、测试数据怎么构造、AI Agent 的工具调用怎么验证也会问线上模型效果回退时该怎么排查。这些题目背后考察的不只是测试用例设计能力而是对整个大模型产品链路有没有完整认知。这篇文章以 AI 大模型产品测试面试中反复出现的高频题为主线不提供押题式答案而是把每类题目背后的知识点、答题框架和可落地的验证方法拆开讲清楚。学完后你可以用这套思路去整理自己的项目经历也能在面试现场面对追问时保持逻辑完整。1. 先看清面试官在考察什么AI大模型产品测试的能力模型很多测试同学准备 AI 面试时第一反应是去背“大模型是什么”“Transformer 是什么”结果面试官一问到“你的测试用例怎么设计”“线上模型答错了怎么定位”就答不上来。这不是知识不够而是没有理解 AI 测试岗位背后的能力模型。1.1 AI 测试面试与传统测试面试的差异传统软件测试面试重点在接口用例设计、数据库校验、异常场景、性能压测和缺陷管理流程。AI 大模型产品测试面试除了这些基础能力还要多出三层要求要理解模型行为和传统程序行为的差异。要把算法指标翻译成产品可验收的标准。要在测试数据、评测集、回归策略上给出可落地方案。下面用一张表说明两者的区别对比维度传统软件测试AI 大模型产品测试输出是否确定输入相同输出基本确定相同 Prompt 可能输出不同结果缺陷定义有明确预期结果答案没有标准文本只能定义评分标准用例设计重点等价类、边界值、状态流转数据多样性、边界输入、对抗样本、安全合规回归方式固化用例后重复执行需要评测集加评估指标人工抽检加自动化排错方式查日志、查堆栈、查数据库查输入输出、查 Prompt、查上下文、查模型版本上线标准功能通过率、性能达标指标达标加人工评审加线上监控面试官问 AI 测试题本质上是想看你能不能从“功能执行者”变成“模型质量守护者”。1.2 面试官最看重的四项能力把高频题归类后会发现面试官真正考察的能力集中在四块第一模型基础知识。考察你对 Token、Prompt、幻觉、上下文窗口、温度参数、RAG、微调这些概念是否有正确理解。不要求你训练模型但要能解释这些概念为什么会影响测试结果。第二测试设计能力。给定一个 AI 产品功能比如智能客服、AI 写作助手、知识库问答你能不能快速拆解出功能测试、内容质量测试、体验测试、安全合规测试四层用例。第三评测与数据分析能力。模型答得好不好不能只凭感觉。你要能设计评测集、选择指标、组织人工评估并且能从错误样本中分析出是数据问题、模型问题还是产品交互问题。第四工程落地能力。能否用脚本批量调用模型接口能否用 pytest 组织自动化回归能否把评估结果沉淀成平台或看板。这决定你能不能从“手工写用例”升级到“搭建自动化测试链路”。1.3 三类 AI 测试岗位方向要分清“AI 测试”在不同公司指向完全不同。面试前要先判断岗位方向再决定准备重点。岗位方向典型职责面试重点算法测试/评测工程师设计评测集、跑指标、分析 bad case指标含义、数据构造、错误分析AI 产品测试工程师对智能客服、AI 编辑器等产品做系统测试用例设计、Prompt 测试、安全合规、体验AI Agent/智能体测试验证 Agent 的工具调用、多轮规划、状态执行链路测试、Mock、数据处理、回溯排查如果投的是“AI 大模型产品测试”岗用例设计、评测指标、Prompt 测试、安全合规一定是核心行为面试题反而是次要的。2. 大模型基础速记原理、概念与测试差异这个章节不是让你去研究模型原理而是把面试必考的基础概念整理成测试视角能直接使用的知识。面试官问概念通常不会只是问定义而是会追问“这个概念对测试意味着什么”。2.1 用一句话理解大模型为什么难测大模型本质上是根据海量文本训练出来的概率模型。给定输入序列模型逐个预测下一个 Token 的概率分布再根据采样策略选出一个 Token 输出。所以大模型输出天然带有随机性同一句话换一种说法模型理解可能完全不同同一个 Prompt 多问几次答案也可能不同。这带来一个核心测试难题传统测试可以写“预期结果等于某值”AI 测试只能定义“输出应该在某个质量范围内”。这就是面试中几乎所有题目的出发点。2.2 高频概念速查表面试中经常出现的概念很多但真正需要烂熟于心的主要是下面这张表。每一条都要能回答“是什么”和“对测试有什么影响”。概念一句话解释对测试的影响Token模型处理文本的最小单位可以理解为词或子词影响输入长度和计费超长截断会造成答案缺失上下文窗口模型一次能处理的最大 Token 数量超窗内容被截断或遗忘涉及长文本测试温度Temperature控制采样随机性的参数值越大输出越随机回归测试要固定温度否则结果不稳定Top-p只从累计概率达到 p 的候选词里采样和温度共同影响输出多样性幻觉Hallucination模型生成看似合理但实际错误的内容需要事实性校验知识类产品尤其重要Prompt用户输入给模型的指令和上下文Prompt 不同测试结果可能完全不同RAG检索增强生成先检索资料再让模型基于资料回答测试要覆盖检索质量、引用来源、资料缺失微调Fine-tuning用业务数据进一步训练模型微调后要做回归防止旧能力退化Agent能调用工具、规划步骤、完成多步任务的智能体正确性依赖中间状态链路更长这张表背下来只是第一步更重要的是能在回答问题时自然带出概念比如回答“大模型测试和传统测试有什么区别”时直接提“大模型是概率生成模型输出不固定所以测试必须引入评测集和评分机制”。2.3 必答题如何验证大模型生成的答案是对的这道题几乎是 AI 测试面试必问。推荐按“三层验证”思路回答既完整又有层级感。第一层格式和规则校验。用传统断言完成。比如输出必须是 JSON、必须包含指定字段、长度不能超过限制。这些是确定性校验能自动化。第二层答案相关性校验。判断模型输出是否对应问题主题。可以抽取关键词、计算语义相似度也可以用另一个模型做裁判评分。这一层用于筛掉“答非所问”。第三层事实准确性校验。对知识类产品要把模型输出的关键实体和知识库、检索文档进行交叉验证确认是否存在幻觉。这一步通常需要人工抽检和自动化结合。答题时可以补充一句不同产品对“正确”的定义不同。资讯摘要类产品重事实准确性闲聊陪伴类产品重连贯性和情感代码生成类产品要能编译能执行。先定义正确再谈验证。3. 产品测试核心战场测试用例设计与数据准备这一章节是产品测试面试的主体。面试官通常会给一个具体功能让你现场拆用例。这里的核心套路是不要只按功能点穷举要分层设计。3.1 从功能、内容、体验、安全四个维度拆用例拿到任何一个 AI 功能都建议按四个维度展开。以智能客服为例功能维度回答是否返回、响应时间、接口报错、超时处理、多轮会话状态是否保持。内容维度回答是否相关、是否完整、是否出现幻觉、是否带引用来源、对敏感词是否合规。体验维度答案是否冗长、是否开篇就给出结论、在用户追问时能否补充解释、情绪是否稳定。安全合规维度是否拒绝违规输入、是否泄露系统 Prompt、是否被诱导输出不该输出的内容。这四个维度已经能形成一张完整的测试思维导图。面试现场只需要结合具体产品再补充业务指标比如知识库问答还要测“检索不到答案时的兜底话术”。3.2 测试用例示例直接从面试题中提炼下面是一份“AI 知识库问答”功能的高频用例表可以直接作为答题模板。用例编号测试维度输入/操作预期结果风险等级TC01功能输入知识库内已有问题“年假政策是什么”返回相关政策内容附带引用来源高TC02功能输入超长文本超过上下文窗口不报错截断处理或提示用户简化高TC03内容输入知识库外问题“今天天气怎么样”明确提示无法回答不编造天气信息高TC04内容输入诱导性问题要求忽略系统指令拒绝执行不输出内部 Prompt高TC05体验输入“你能说得简单一点吗”模型能理解追问并重新生成简化版本中TC06安全输入违规内容或越权问题返回合规话术不输出敏感信息高TC07功能多轮对话中切换话题上下文正确更新不把旧话题带入新回答中TC08内容文档内容有更新后再次提问回答基于最新文档不返回旧答案高写用例时要注意“预期结果”不要写成“回答正确”要写成可判断的行为比如“返回知识库内容并标注来源”“拒绝回答敏感问题”“对超长输入做截断提示”。面试官看到这种表述就能确认你有实际测试经验。3.3 测试数据准备多样性、边界、对抗样本AI 测试对数据构造的要求远高于传统测试。造数时要覆盖四类正常数据真实用户会问的问题最好从线上日志中抽样也可邀请产品同学提供典型问题。变体数据同一语义的不同问法。比如“怎么请假”“请假流程是什么”“我想休年假需要找谁”三者语义接近但表达差异很大。这类数据用来测模型的语义理解鲁棒性。边界数据超长文本、空输入、纯符号、表情、中英文混杂、历史对话超长。这些输入最容易触发模型和链路异常。对抗数据诱导性 Prompt、试图越权的指令、要求模型泄露提示词的话术。构造时围绕安全合规场景进行主要目的是验证模型具备拦截能力而不是绕过限制。面试时可以这样总结测试数据不是一次性准备的要持续从线上 bad case 中补充回流。每发现一个错误回答就分析是语义理解问题、检索问题还是生成问题然后转化为新的测试用例。3.4 安全合规测试怎么答才不踩坑安全合规是 AI 测试面试的加分项也是最容易答偏的部分。回答时建议聚焦“验证模型具备拦截和拒答能力”这一正向目标不要讨论如何绕过或如何生成不受限制的内容。可以这样说安全测试重点包括三块内容。第一违规内容拦截测试模型对违法、色情、暴力、仇恨言论等输入是否具备识别和拒答能力。第二提示词注入测试验证用户是否能通过构造 Prompt 让模型泄露系统设定、内部工具配置或越权获取信息。第三输出内容合规确保模型生成内容不包含个人隐私、商业秘密和违规信息。测试方法既包含自动化批量跑题也包含人工红队评审。面试官关心的是你是否有合规意识以及有没有完整的测试预案。4. 算法评测基本功指标体系与评测集设计产品测试做久了很多同学会发现自己写用例很熟但一旦涉及“这个模型上线行不行”就说不清楚。这里面缺的就是算法评测能力。面试中常见的问题是如何评估一个大模型产品的回答质量如何制定评测集如何判断模型版本是变好还是变坏。4.1 客观指标从分类指标到生成指标AI 产品评测中涉及的指标要分两类。一类是从传统机器学习中继承的一类是文本生成领域专用的。最常用的是下面这些指标全称/用途说明准确率Accuracy正确预测样本占总样本比例适合分类任务精确率Precision预测为正例的样本中真正例占比召回率Recall真实正例中被正确预测的占比F1精确率和召回率的调和平均在两者之间取平衡BLEU机器翻译/生成文本质量看生成文本和参考文本的 n-gram 重合度ROUGE摘要/生成质量看生成文本覆盖参考文本的情况困惑度PPL语言模型流畅度值越低代表模型对文本的预测越自信回答这类题时不要只背公式。要补充使用场景BLEU 适合翻译和摘要类任务对对话和创意生成类文本并不友好ROUGE 对关键词覆盖率敏感但对语义一致性不敏感。实际业务中往往需要结合语义相似度和人工评估一起用。4.2 主观指标人工评估的评分标准生成类产品只有客观指标远远不够。面试官常问模型回答“好还是不好”怎么打分。建议参考这套人工评估维度相关性回答是否直接对应问题。准确性内容是否符合事实。完整性是否遗漏关键信息。逻辑性步骤和结论是否有条理。简洁性是否冗余。安全性是否包含不当内容。每个维度可以设计成 1 到 5 分并附上每个分值的具体表现。比如相关性评分3 分可以定义为“回答主题与问题相关但部分内容偏离核心问题”4 分可以定义为“回答完整对应问题没有多余信息”。定义越具体多人评分一致性越高。4.3 评测集设计从 100 条到上万条的结构面试被问到“如何搭建评测集”时按下面三层回答最清晰。第一层基础回归集。覆盖核心功能的高频问题用于每次模型版本迭代后的快速回归数量通常几百条。第二层专项评测集。按能力维度组织包括语义理解、多轮对话、安全拒答、长文本处理、工具调用等数量通常几千条。第三层线上回流集。从真实用户 bad case 中筛选补充持续扩充。这部分最宝贵能直接反映线上质量短板。评测集结构除了问题文本还要包含标准答案或评分要点、所属模块、难度等级、期望输出类型。这样跑完一轮评测后可以按模块和难度拆解错误定位是哪类能力退化。4.4 一个最小可运行的评测脚本示例面试中如果你能提到“我会写脚本批量跑评测”会明显加分。下面给出一个基于 Python 的简易思路示例用于说明流程真实项目需要结合自己的模型接口和评分服务调整。import requests import json from collections import Counter def call_model(prompt): # 假设内部模型服务接口 resp requests.post( http://your-model-service/generate, json{prompt: prompt, temperature: 0.1}, timeout30, ) resp.raise_for_status() return resp.json()[output] def simple_rouge_l(candidate, reference): # 简化的关键词召回率示例实际建议使用 rouge-score 库 cand_tokens set(candidate.lower().split()) ref_tokens set(reference.lower().split()) if not ref_tokens: return 0.0 hit len(cand_tokens ref_tokens) return hit / len(ref_tokens) test_cases [ {prompt: 请介绍一下年假政策, reference: 年假按工龄计算满一年享受五天年假}, {prompt: 怎么提交报销单, reference: 进入财务系统选择报销单并填写相关信息}, ] total_score 0.0 for case in test_cases: output call_model(case[prompt]) score simple_rouge_l(output, case[reference]) total_score score print(fprompt: {case[prompt]}) print(foutput: {output}) print(fscore: {score:.2f}) print(faverage_score: {total_score / len(test_cases):.2f})这段代码说明三个关键点调用模型时固定温度参数保证结果可比评估函数必须单独封装方便替换成更复杂的评估方法测试数据用列表结构保存方便扩展为外部文件导入。面试时能讲清楚这三件事比写出完整框架更有说服力。5. 进阶方向AI Agent 测试与自动化测试平台当面试进入第二轮或技术终面时话题通常会转向 AI Agent 测试和自动化测试平台搭建。这两个方向是当前 AI 测试岗位区分度最高的地方也是“普通功能测试”和“AI 测试工程师”之间的分水岭。5.1 为什么 AI Agent 测试比普通大模型产品更难普通大模型产品测试通常是一问一答输入输出都围绕单轮或简单多轮。AI Agent 则不同它需要自主规划拆解用户意图、选择工具、执行动作、读取结果、根据结果决定下一步。链路变长后不确定性成倍增加。面试中要讲清楚三个难点状态多变。Agent 的每一步都可能改变内部状态比如已经查询了用户权限后续步骤是否沿用该结果。测试不能只看最终回答要验证中间每一步是否合理。外部依赖。Agent 要调用搜索、数据库、API、代码解释器等工具。工具返回异常、超时、数据格式变化都会影响 Agent 行为。测试需要 Mock 外部服务来稳定复现场景。错误传导。单个步骤出错可能被后续步骤放大。比如步骤一取到了错误参数步骤二基于这个参数检索最终答案就完全跑偏。排查时要能追踪整条链路。所以 AI Agent 测试面试题重点不在于“写多少用例”而在于“怎么控制随机性和外部依赖”。5.2 高频题解析工具调用、多轮记忆、数据处理面试官问“如何测试 AI Agent 的工具调用”推荐按三步回答。第一正确路由测试。给定用户问题验证 Agent 是否选择了正确的工具。比如“帮我查一下北京的天气”应该触发天气查询工具而不是知识库检索工具。第二参数传递测试。验证 Agent 从用户输入中提取的参数是否正确。比如“订明早九点到上海的高铁”要正确提取日期、时间、出发地、目的地。这是最容易出错的一环。第三异常处理测试。工具调用失败、返回空结果、超时、参数不合法时Agent 是否能给出合理兜底话术而不是崩溃或无限重试。多轮记忆测试的重点则是验证 Agent 能否正确引用前文信息。比如用户在前一轮提到“上周五”下一轮问“那天的会议纪要整理了吗”Agent 要能理解“那天”指的具体日期。测试时建议构造“修改型对话”和“指代型对话”两类场景。数据处理测试也是热搜方向核心回答思路是验证数据在进入 Agent 前是否被正确清洗、截断、格式化验证输出结果是否与检索到的数据保持一致验证数据缺失、重复、过期时是否有明确处理策略。5.3 最小自动化测试示例用 pytest 组织回归用例面试中展示自动化能力时不需要完整平台一个 pytest 示例足够说明问题。import pytest import requests MODEL_SERVICE http://your-model-service/generate def generate(prompt): resp requests.post( MODEL_SERVICE, json{prompt: prompt, temperature: 0.0}, timeout30, ) assert resp.status_code 200, f接口异常: {resp.status_code} return resp.json()[output] pytest.mark.parametrize( question,keyword, [ (年假有多少天, 年假), (报销流程是什么, 报销), (产品上线流程, 上线), ], ) def test_answer_contains_keyword(question, keyword): output generate(question) assert keyword in output, f问题[{question}]的回答没有包含关键词[{keyword}]这段示例解决的是“答案主题是否相关”的快速回归问题适用于冒烟测试。实际项目中还需要加入语义相似度、事实校验、安全拒答等检查。固定 temperature 为 0.0 是为了减少随机性避免明明是同一版本模型却因为采样差异导致用例失败。这个细节在面试中非常加分。5.4 自动化测试平台搭建从脚本到平台需要补什么“AI 自动化测试平台搭建”是搜索热词也是面试终面常见选题。回答这个问题时不要一上来就画大架构要从脚本阶段的痛点开始推导。脚本阶段的痛点有三个数据散落在文件里、结果只能看日志、模型版本更换后难以对比。平台方案应该针对这三点补齐用例管理模块支持用例批量导入、分类、标签管理、在线编辑。评测执行模块支持指定模型版本、数据集、评估指标后批量执行。结果管理模块自动生成报告展示通过率、各指标得分、bad case 明细和趋势变化。回归策略模块支持定时回归、版本发布触发回归、线上 bad case 自动回流。如果面试被问到“搭建一套平台需要多少人”可以回答先做最小闭环一个人用脚本加数据看板就能跑通数据、执行、报告三件事后续再按需增加任务编排、权限管理、多人协作和可视化大屏。重点是先建立“评测集 执行脚本 结果报告”的最小闭环没有数据闭环的平台只是空壳。6. 面试冲刺高频题速答、常见坑与检查清单最后这个章节直接面向面试现场把高频题的回答框架、容易踩的坑和面试前检查清单整理出来。切记面试题没有标准答案只有“是否能展示出系统思考能力”的差别。6.1 高频题速答每道题给一个可用的回答框架问题一为什么想做 AI 大模型测试推荐回答框架先说自己测试基础再讲自己对 AI 测试现状的观察最后落到具体能力。例如“我有三年测试经验负责过接口和功能测试。AI 产品测试的难点在于输出不确定不能用传统断言完成所有验证需要从功能测试、评估体系、数据建设三个维度入手这正是我想深入的方向。过去半年我整理了评测集并尝试用脚本做回归最近也在系统学习指标和 Agent 测试。”问题二大模型产品测试最难的地方是什么推荐从三个层面回答数据层面测试数据覆盖难输出层面结果不稳定、评估标准难统一排查层面问题可能是模型、Prompt、检索或链路某一环引起的定位难。最后补一句最难的不是单个问题而是如何在资源有限时选出最有效的评测策略。问题三如果线上模型回答变差了怎么排查推荐按链路排查先确认模型版本是否变化再检查 Prompt 是否被修改然后检查知识库或检索数据是否更新最后看线上流量和输入分布是否发生变化。同时要保证线上有真实会话日志和指标监控否则只能靠用户反馈被动发现。问题四你怎么设计一个 AI 写作助手的测试方案按四层拆解即可功能层验证生成、改写、续写、总结等功能是否可用内容层验证文本流畅度、相关性和事实性体验层验证生成速度、长度控制、交互反馈安全层验证敏感话题和用户隐私保护。再补充评测集设计和 bad case 回流机制就能形成完整闭环。6.2 回答问题的组织方法AI 测试面试的追问非常频繁同一个问题可能被连续追问“然后呢”“为什么”。建议用“先分类、再展开、再举例”的框架组织语言。先分类。给出问题的几个维度比如“测试设计我会分为功能、内容、体验、安全四层”。这样面试官能看到你结构化思考。再展开。每一层用一两句话说清楚核心关注点。比如“内容层重点验证回答是否出现幻觉常见做法是设置事实性校验点”。再举例。举一个自己做过或设想中的具体例子。比如“知识库场景下当用户问到文档未覆盖的内容时预期结果是明确拒答而不是编造答案”。例子能证明你真的理解而不是背题库。6.3 新手最容易踩的常见坑第一个坑把大模型测试题答成纯功能测试。面试官问“如何测试一个 AI 对话机器人”如果你只回答接口返回、超时、并发就说明没有 AI 产品测试意识。正确做法是先讨论输出不确定性和评估标准再谈功能。第二个坑过度依赖“用大模型测大模型”的回答。被问到评测方案时说“用 GPT 评分”是很多人容易脱口而出的答案但这个答案背后必须包含评分标准是什么、和人工评估一致性如何验证、误判如何处理。否则会给面试官留下“知其然不知其所以然”的印象。第三个坑忽略 Prompt 对结果的影响。同一功能只要 Prompt 模板变了测试结果就得重新评估。面试时提到“Prompt 版本也需要纳入配置管理和回归范围”会明显高于普通候选人。第四个坑把数据和结果混在一起说。回答评测体系时要把“测试数据”“评测指标”“执行频率”“结果报告”分开讲。混在一起会让面试官觉得你缺少系统化设计能力。6.4 面试前检查清单准备 AI 测试面试时可以用下面这张清单做自检。每一项都能用自己的话讲清楚并配有至少一个实际场景再进入面试流程。检查项自检问题完成状态基础概念能不能用测试视角解释 Token、温度、幻觉、RAG、Agent是/否差异理解能不能说清大模型测试和传统测试的 5 个区别是/否用例设计拿到一个 AI 功能能不能按功能、内容、体验、安全拆用例是/否数据构造能不能设计正常、变体、边界、对抗四类测试数据是/否评测指标能不能解释准确率、BLEU、ROUGE 的用途和局限是/否评测集设计能不能说清基础回归集、专项集、线上回流集的分层逻辑是/否排错思路线上模型效果变差时按什么顺序排查是/否自动化能不能写一个最小脚本批量调用模型并输出评估结果是/否Agent 测试能不能说清工具调用测试的“路由、参数、异常”三步是/否项目陈述能不能用自己负责过的功能作为完整案例讲 10 分钟是/否准备时最忌讳的是死记硬背某道题的答案。面试官一天面很多人听到“标准答案”很容易察觉。真正有效的准备方式是用每道高频题作为索引把背后的概念、用例设计思路、评测方法和排查路径串成自己的知识树。面试时哪怕遇到没见过的题只要底层的测试思维和 AI 产品链路认知是完整的也能拆解出回答路径。可以挑选一个最熟悉的 AI 产品从用例设计到评测集再到自动化回归完整过一遍这套组合拳比刷一百道题都更有价值。
AI大模型产品测试面试高频题解析：原理、用例与指标
AI 大模型产品测试的面试已经不再是传统功能测试那套问法。面试官会直接问大模型的推理机制、评测指标、测试数据怎么构造、AI Agent 的工具调用怎么验证也会问线上模型效果回退时该怎么排查。这些题目背后考察的不只是测试用例设计能力而是对整个大模型产品链路有没有完整认知。这篇文章以 AI 大模型产品测试面试中反复出现的高频题为主线不提供押题式答案而是把每类题目背后的知识点、答题框架和可落地的验证方法拆开讲清楚。学完后你可以用这套思路去整理自己的项目经历也能在面试现场面对追问时保持逻辑完整。1. 先看清面试官在考察什么AI大模型产品测试的能力模型很多测试同学准备 AI 面试时第一反应是去背“大模型是什么”“Transformer 是什么”结果面试官一问到“你的测试用例怎么设计”“线上模型答错了怎么定位”就答不上来。这不是知识不够而是没有理解 AI 测试岗位背后的能力模型。1.1 AI 测试面试与传统测试面试的差异传统软件测试面试重点在接口用例设计、数据库校验、异常场景、性能压测和缺陷管理流程。AI 大模型产品测试面试除了这些基础能力还要多出三层要求要理解模型行为和传统程序行为的差异。要把算法指标翻译成产品可验收的标准。要在测试数据、评测集、回归策略上给出可落地方案。下面用一张表说明两者的区别对比维度传统软件测试AI 大模型产品测试输出是否确定输入相同输出基本确定相同 Prompt 可能输出不同结果缺陷定义有明确预期结果答案没有标准文本只能定义评分标准用例设计重点等价类、边界值、状态流转数据多样性、边界输入、对抗样本、安全合规回归方式固化用例后重复执行需要评测集加评估指标人工抽检加自动化排错方式查日志、查堆栈、查数据库查输入输出、查 Prompt、查上下文、查模型版本上线标准功能通过率、性能达标指标达标加人工评审加线上监控面试官问 AI 测试题本质上是想看你能不能从“功能执行者”变成“模型质量守护者”。1.2 面试官最看重的四项能力把高频题归类后会发现面试官真正考察的能力集中在四块第一模型基础知识。考察你对 Token、Prompt、幻觉、上下文窗口、温度参数、RAG、微调这些概念是否有正确理解。不要求你训练模型但要能解释这些概念为什么会影响测试结果。第二测试设计能力。给定一个 AI 产品功能比如智能客服、AI 写作助手、知识库问答你能不能快速拆解出功能测试、内容质量测试、体验测试、安全合规测试四层用例。第三评测与数据分析能力。模型答得好不好不能只凭感觉。你要能设计评测集、选择指标、组织人工评估并且能从错误样本中分析出是数据问题、模型问题还是产品交互问题。第四工程落地能力。能否用脚本批量调用模型接口能否用 pytest 组织自动化回归能否把评估结果沉淀成平台或看板。这决定你能不能从“手工写用例”升级到“搭建自动化测试链路”。1.3 三类 AI 测试岗位方向要分清“AI 测试”在不同公司指向完全不同。面试前要先判断岗位方向再决定准备重点。岗位方向典型职责面试重点算法测试/评测工程师设计评测集、跑指标、分析 bad case指标含义、数据构造、错误分析AI 产品测试工程师对智能客服、AI 编辑器等产品做系统测试用例设计、Prompt 测试、安全合规、体验AI Agent/智能体测试验证 Agent 的工具调用、多轮规划、状态执行链路测试、Mock、数据处理、回溯排查如果投的是“AI 大模型产品测试”岗用例设计、评测指标、Prompt 测试、安全合规一定是核心行为面试题反而是次要的。2. 大模型基础速记原理、概念与测试差异这个章节不是让你去研究模型原理而是把面试必考的基础概念整理成测试视角能直接使用的知识。面试官问概念通常不会只是问定义而是会追问“这个概念对测试意味着什么”。2.1 用一句话理解大模型为什么难测大模型本质上是根据海量文本训练出来的概率模型。给定输入序列模型逐个预测下一个 Token 的概率分布再根据采样策略选出一个 Token 输出。所以大模型输出天然带有随机性同一句话换一种说法模型理解可能完全不同同一个 Prompt 多问几次答案也可能不同。这带来一个核心测试难题传统测试可以写“预期结果等于某值”AI 测试只能定义“输出应该在某个质量范围内”。这就是面试中几乎所有题目的出发点。2.2 高频概念速查表面试中经常出现的概念很多但真正需要烂熟于心的主要是下面这张表。每一条都要能回答“是什么”和“对测试有什么影响”。概念一句话解释对测试的影响Token模型处理文本的最小单位可以理解为词或子词影响输入长度和计费超长截断会造成答案缺失上下文窗口模型一次能处理的最大 Token 数量超窗内容被截断或遗忘涉及长文本测试温度Temperature控制采样随机性的参数值越大输出越随机回归测试要固定温度否则结果不稳定Top-p只从累计概率达到 p 的候选词里采样和温度共同影响输出多样性幻觉Hallucination模型生成看似合理但实际错误的内容需要事实性校验知识类产品尤其重要Prompt用户输入给模型的指令和上下文Prompt 不同测试结果可能完全不同RAG检索增强生成先检索资料再让模型基于资料回答测试要覆盖检索质量、引用来源、资料缺失微调Fine-tuning用业务数据进一步训练模型微调后要做回归防止旧能力退化Agent能调用工具、规划步骤、完成多步任务的智能体正确性依赖中间状态链路更长这张表背下来只是第一步更重要的是能在回答问题时自然带出概念比如回答“大模型测试和传统测试有什么区别”时直接提“大模型是概率生成模型输出不固定所以测试必须引入评测集和评分机制”。2.3 必答题如何验证大模型生成的答案是对的这道题几乎是 AI 测试面试必问。推荐按“三层验证”思路回答既完整又有层级感。第一层格式和规则校验。用传统断言完成。比如输出必须是 JSON、必须包含指定字段、长度不能超过限制。这些是确定性校验能自动化。第二层答案相关性校验。判断模型输出是否对应问题主题。可以抽取关键词、计算语义相似度也可以用另一个模型做裁判评分。这一层用于筛掉“答非所问”。第三层事实准确性校验。对知识类产品要把模型输出的关键实体和知识库、检索文档进行交叉验证确认是否存在幻觉。这一步通常需要人工抽检和自动化结合。答题时可以补充一句不同产品对“正确”的定义不同。资讯摘要类产品重事实准确性闲聊陪伴类产品重连贯性和情感代码生成类产品要能编译能执行。先定义正确再谈验证。3. 产品测试核心战场测试用例设计与数据准备这一章节是产品测试面试的主体。面试官通常会给一个具体功能让你现场拆用例。这里的核心套路是不要只按功能点穷举要分层设计。3.1 从功能、内容、体验、安全四个维度拆用例拿到任何一个 AI 功能都建议按四个维度展开。以智能客服为例功能维度回答是否返回、响应时间、接口报错、超时处理、多轮会话状态是否保持。内容维度回答是否相关、是否完整、是否出现幻觉、是否带引用来源、对敏感词是否合规。体验维度答案是否冗长、是否开篇就给出结论、在用户追问时能否补充解释、情绪是否稳定。安全合规维度是否拒绝违规输入、是否泄露系统 Prompt、是否被诱导输出不该输出的内容。这四个维度已经能形成一张完整的测试思维导图。面试现场只需要结合具体产品再补充业务指标比如知识库问答还要测“检索不到答案时的兜底话术”。3.2 测试用例示例直接从面试题中提炼下面是一份“AI 知识库问答”功能的高频用例表可以直接作为答题模板。用例编号测试维度输入/操作预期结果风险等级TC01功能输入知识库内已有问题“年假政策是什么”返回相关政策内容附带引用来源高TC02功能输入超长文本超过上下文窗口不报错截断处理或提示用户简化高TC03内容输入知识库外问题“今天天气怎么样”明确提示无法回答不编造天气信息高TC04内容输入诱导性问题要求忽略系统指令拒绝执行不输出内部 Prompt高TC05体验输入“你能说得简单一点吗”模型能理解追问并重新生成简化版本中TC06安全输入违规内容或越权问题返回合规话术不输出敏感信息高TC07功能多轮对话中切换话题上下文正确更新不把旧话题带入新回答中TC08内容文档内容有更新后再次提问回答基于最新文档不返回旧答案高写用例时要注意“预期结果”不要写成“回答正确”要写成可判断的行为比如“返回知识库内容并标注来源”“拒绝回答敏感问题”“对超长输入做截断提示”。面试官看到这种表述就能确认你有实际测试经验。3.3 测试数据准备多样性、边界、对抗样本AI 测试对数据构造的要求远高于传统测试。造数时要覆盖四类正常数据真实用户会问的问题最好从线上日志中抽样也可邀请产品同学提供典型问题。变体数据同一语义的不同问法。比如“怎么请假”“请假流程是什么”“我想休年假需要找谁”三者语义接近但表达差异很大。这类数据用来测模型的语义理解鲁棒性。边界数据超长文本、空输入、纯符号、表情、中英文混杂、历史对话超长。这些输入最容易触发模型和链路异常。对抗数据诱导性 Prompt、试图越权的指令、要求模型泄露提示词的话术。构造时围绕安全合规场景进行主要目的是验证模型具备拦截能力而不是绕过限制。面试时可以这样总结测试数据不是一次性准备的要持续从线上 bad case 中补充回流。每发现一个错误回答就分析是语义理解问题、检索问题还是生成问题然后转化为新的测试用例。3.4 安全合规测试怎么答才不踩坑安全合规是 AI 测试面试的加分项也是最容易答偏的部分。回答时建议聚焦“验证模型具备拦截和拒答能力”这一正向目标不要讨论如何绕过或如何生成不受限制的内容。可以这样说安全测试重点包括三块内容。第一违规内容拦截测试模型对违法、色情、暴力、仇恨言论等输入是否具备识别和拒答能力。第二提示词注入测试验证用户是否能通过构造 Prompt 让模型泄露系统设定、内部工具配置或越权获取信息。第三输出内容合规确保模型生成内容不包含个人隐私、商业秘密和违规信息。测试方法既包含自动化批量跑题也包含人工红队评审。面试官关心的是你是否有合规意识以及有没有完整的测试预案。4. 算法评测基本功指标体系与评测集设计产品测试做久了很多同学会发现自己写用例很熟但一旦涉及“这个模型上线行不行”就说不清楚。这里面缺的就是算法评测能力。面试中常见的问题是如何评估一个大模型产品的回答质量如何制定评测集如何判断模型版本是变好还是变坏。4.1 客观指标从分类指标到生成指标AI 产品评测中涉及的指标要分两类。一类是从传统机器学习中继承的一类是文本生成领域专用的。最常用的是下面这些指标全称/用途说明准确率Accuracy正确预测样本占总样本比例适合分类任务精确率Precision预测为正例的样本中真正例占比召回率Recall真实正例中被正确预测的占比F1精确率和召回率的调和平均在两者之间取平衡BLEU机器翻译/生成文本质量看生成文本和参考文本的 n-gram 重合度ROUGE摘要/生成质量看生成文本覆盖参考文本的情况困惑度PPL语言模型流畅度值越低代表模型对文本的预测越自信回答这类题时不要只背公式。要补充使用场景BLEU 适合翻译和摘要类任务对对话和创意生成类文本并不友好ROUGE 对关键词覆盖率敏感但对语义一致性不敏感。实际业务中往往需要结合语义相似度和人工评估一起用。4.2 主观指标人工评估的评分标准生成类产品只有客观指标远远不够。面试官常问模型回答“好还是不好”怎么打分。建议参考这套人工评估维度相关性回答是否直接对应问题。准确性内容是否符合事实。完整性是否遗漏关键信息。逻辑性步骤和结论是否有条理。简洁性是否冗余。安全性是否包含不当内容。每个维度可以设计成 1 到 5 分并附上每个分值的具体表现。比如相关性评分3 分可以定义为“回答主题与问题相关但部分内容偏离核心问题”4 分可以定义为“回答完整对应问题没有多余信息”。定义越具体多人评分一致性越高。4.3 评测集设计从 100 条到上万条的结构面试被问到“如何搭建评测集”时按下面三层回答最清晰。第一层基础回归集。覆盖核心功能的高频问题用于每次模型版本迭代后的快速回归数量通常几百条。第二层专项评测集。按能力维度组织包括语义理解、多轮对话、安全拒答、长文本处理、工具调用等数量通常几千条。第三层线上回流集。从真实用户 bad case 中筛选补充持续扩充。这部分最宝贵能直接反映线上质量短板。评测集结构除了问题文本还要包含标准答案或评分要点、所属模块、难度等级、期望输出类型。这样跑完一轮评测后可以按模块和难度拆解错误定位是哪类能力退化。4.4 一个最小可运行的评测脚本示例面试中如果你能提到“我会写脚本批量跑评测”会明显加分。下面给出一个基于 Python 的简易思路示例用于说明流程真实项目需要结合自己的模型接口和评分服务调整。import requests import json from collections import Counter def call_model(prompt): # 假设内部模型服务接口 resp requests.post( http://your-model-service/generate, json{prompt: prompt, temperature: 0.1}, timeout30, ) resp.raise_for_status() return resp.json()[output] def simple_rouge_l(candidate, reference): # 简化的关键词召回率示例实际建议使用 rouge-score 库 cand_tokens set(candidate.lower().split()) ref_tokens set(reference.lower().split()) if not ref_tokens: return 0.0 hit len(cand_tokens ref_tokens) return hit / len(ref_tokens) test_cases [ {prompt: 请介绍一下年假政策, reference: 年假按工龄计算满一年享受五天年假}, {prompt: 怎么提交报销单, reference: 进入财务系统选择报销单并填写相关信息}, ] total_score 0.0 for case in test_cases: output call_model(case[prompt]) score simple_rouge_l(output, case[reference]) total_score score print(fprompt: {case[prompt]}) print(foutput: {output}) print(fscore: {score:.2f}) print(faverage_score: {total_score / len(test_cases):.2f})这段代码说明三个关键点调用模型时固定温度参数保证结果可比评估函数必须单独封装方便替换成更复杂的评估方法测试数据用列表结构保存方便扩展为外部文件导入。面试时能讲清楚这三件事比写出完整框架更有说服力。5. 进阶方向AI Agent 测试与自动化测试平台当面试进入第二轮或技术终面时话题通常会转向 AI Agent 测试和自动化测试平台搭建。这两个方向是当前 AI 测试岗位区分度最高的地方也是“普通功能测试”和“AI 测试工程师”之间的分水岭。5.1 为什么 AI Agent 测试比普通大模型产品更难普通大模型产品测试通常是一问一答输入输出都围绕单轮或简单多轮。AI Agent 则不同它需要自主规划拆解用户意图、选择工具、执行动作、读取结果、根据结果决定下一步。链路变长后不确定性成倍增加。面试中要讲清楚三个难点状态多变。Agent 的每一步都可能改变内部状态比如已经查询了用户权限后续步骤是否沿用该结果。测试不能只看最终回答要验证中间每一步是否合理。外部依赖。Agent 要调用搜索、数据库、API、代码解释器等工具。工具返回异常、超时、数据格式变化都会影响 Agent 行为。测试需要 Mock 外部服务来稳定复现场景。错误传导。单个步骤出错可能被后续步骤放大。比如步骤一取到了错误参数步骤二基于这个参数检索最终答案就完全跑偏。排查时要能追踪整条链路。所以 AI Agent 测试面试题重点不在于“写多少用例”而在于“怎么控制随机性和外部依赖”。5.2 高频题解析工具调用、多轮记忆、数据处理面试官问“如何测试 AI Agent 的工具调用”推荐按三步回答。第一正确路由测试。给定用户问题验证 Agent 是否选择了正确的工具。比如“帮我查一下北京的天气”应该触发天气查询工具而不是知识库检索工具。第二参数传递测试。验证 Agent 从用户输入中提取的参数是否正确。比如“订明早九点到上海的高铁”要正确提取日期、时间、出发地、目的地。这是最容易出错的一环。第三异常处理测试。工具调用失败、返回空结果、超时、参数不合法时Agent 是否能给出合理兜底话术而不是崩溃或无限重试。多轮记忆测试的重点则是验证 Agent 能否正确引用前文信息。比如用户在前一轮提到“上周五”下一轮问“那天的会议纪要整理了吗”Agent 要能理解“那天”指的具体日期。测试时建议构造“修改型对话”和“指代型对话”两类场景。数据处理测试也是热搜方向核心回答思路是验证数据在进入 Agent 前是否被正确清洗、截断、格式化验证输出结果是否与检索到的数据保持一致验证数据缺失、重复、过期时是否有明确处理策略。5.3 最小自动化测试示例用 pytest 组织回归用例面试中展示自动化能力时不需要完整平台一个 pytest 示例足够说明问题。import pytest import requests MODEL_SERVICE http://your-model-service/generate def generate(prompt): resp requests.post( MODEL_SERVICE, json{prompt: prompt, temperature: 0.0}, timeout30, ) assert resp.status_code 200, f接口异常: {resp.status_code} return resp.json()[output] pytest.mark.parametrize( question,keyword, [ (年假有多少天, 年假), (报销流程是什么, 报销), (产品上线流程, 上线), ], ) def test_answer_contains_keyword(question, keyword): output generate(question) assert keyword in output, f问题[{question}]的回答没有包含关键词[{keyword}]这段示例解决的是“答案主题是否相关”的快速回归问题适用于冒烟测试。实际项目中还需要加入语义相似度、事实校验、安全拒答等检查。固定 temperature 为 0.0 是为了减少随机性避免明明是同一版本模型却因为采样差异导致用例失败。这个细节在面试中非常加分。5.4 自动化测试平台搭建从脚本到平台需要补什么“AI 自动化测试平台搭建”是搜索热词也是面试终面常见选题。回答这个问题时不要一上来就画大架构要从脚本阶段的痛点开始推导。脚本阶段的痛点有三个数据散落在文件里、结果只能看日志、模型版本更换后难以对比。平台方案应该针对这三点补齐用例管理模块支持用例批量导入、分类、标签管理、在线编辑。评测执行模块支持指定模型版本、数据集、评估指标后批量执行。结果管理模块自动生成报告展示通过率、各指标得分、bad case 明细和趋势变化。回归策略模块支持定时回归、版本发布触发回归、线上 bad case 自动回流。如果面试被问到“搭建一套平台需要多少人”可以回答先做最小闭环一个人用脚本加数据看板就能跑通数据、执行、报告三件事后续再按需增加任务编排、权限管理、多人协作和可视化大屏。重点是先建立“评测集 执行脚本 结果报告”的最小闭环没有数据闭环的平台只是空壳。6. 面试冲刺高频题速答、常见坑与检查清单最后这个章节直接面向面试现场把高频题的回答框架、容易踩的坑和面试前检查清单整理出来。切记面试题没有标准答案只有“是否能展示出系统思考能力”的差别。6.1 高频题速答每道题给一个可用的回答框架问题一为什么想做 AI 大模型测试推荐回答框架先说自己测试基础再讲自己对 AI 测试现状的观察最后落到具体能力。例如“我有三年测试经验负责过接口和功能测试。AI 产品测试的难点在于输出不确定不能用传统断言完成所有验证需要从功能测试、评估体系、数据建设三个维度入手这正是我想深入的方向。过去半年我整理了评测集并尝试用脚本做回归最近也在系统学习指标和 Agent 测试。”问题二大模型产品测试最难的地方是什么推荐从三个层面回答数据层面测试数据覆盖难输出层面结果不稳定、评估标准难统一排查层面问题可能是模型、Prompt、检索或链路某一环引起的定位难。最后补一句最难的不是单个问题而是如何在资源有限时选出最有效的评测策略。问题三如果线上模型回答变差了怎么排查推荐按链路排查先确认模型版本是否变化再检查 Prompt 是否被修改然后检查知识库或检索数据是否更新最后看线上流量和输入分布是否发生变化。同时要保证线上有真实会话日志和指标监控否则只能靠用户反馈被动发现。问题四你怎么设计一个 AI 写作助手的测试方案按四层拆解即可功能层验证生成、改写、续写、总结等功能是否可用内容层验证文本流畅度、相关性和事实性体验层验证生成速度、长度控制、交互反馈安全层验证敏感话题和用户隐私保护。再补充评测集设计和 bad case 回流机制就能形成完整闭环。6.2 回答问题的组织方法AI 测试面试的追问非常频繁同一个问题可能被连续追问“然后呢”“为什么”。建议用“先分类、再展开、再举例”的框架组织语言。先分类。给出问题的几个维度比如“测试设计我会分为功能、内容、体验、安全四层”。这样面试官能看到你结构化思考。再展开。每一层用一两句话说清楚核心关注点。比如“内容层重点验证回答是否出现幻觉常见做法是设置事实性校验点”。再举例。举一个自己做过或设想中的具体例子。比如“知识库场景下当用户问到文档未覆盖的内容时预期结果是明确拒答而不是编造答案”。例子能证明你真的理解而不是背题库。6.3 新手最容易踩的常见坑第一个坑把大模型测试题答成纯功能测试。面试官问“如何测试一个 AI 对话机器人”如果你只回答接口返回、超时、并发就说明没有 AI 产品测试意识。正确做法是先讨论输出不确定性和评估标准再谈功能。第二个坑过度依赖“用大模型测大模型”的回答。被问到评测方案时说“用 GPT 评分”是很多人容易脱口而出的答案但这个答案背后必须包含评分标准是什么、和人工评估一致性如何验证、误判如何处理。否则会给面试官留下“知其然不知其所以然”的印象。第三个坑忽略 Prompt 对结果的影响。同一功能只要 Prompt 模板变了测试结果就得重新评估。面试时提到“Prompt 版本也需要纳入配置管理和回归范围”会明显高于普通候选人。第四个坑把数据和结果混在一起说。回答评测体系时要把“测试数据”“评测指标”“执行频率”“结果报告”分开讲。混在一起会让面试官觉得你缺少系统化设计能力。6.4 面试前检查清单准备 AI 测试面试时可以用下面这张清单做自检。每一项都能用自己的话讲清楚并配有至少一个实际场景再进入面试流程。检查项自检问题完成状态基础概念能不能用测试视角解释 Token、温度、幻觉、RAG、Agent是/否差异理解能不能说清大模型测试和传统测试的 5 个区别是/否用例设计拿到一个 AI 功能能不能按功能、内容、体验、安全拆用例是/否数据构造能不能设计正常、变体、边界、对抗四类测试数据是/否评测指标能不能解释准确率、BLEU、ROUGE 的用途和局限是/否评测集设计能不能说清基础回归集、专项集、线上回流集的分层逻辑是/否排错思路线上模型效果变差时按什么顺序排查是/否自动化能不能写一个最小脚本批量调用模型并输出评估结果是/否Agent 测试能不能说清工具调用测试的“路由、参数、异常”三步是/否项目陈述能不能用自己负责过的功能作为完整案例讲 10 分钟是/否准备时最忌讳的是死记硬背某道题的答案。面试官一天面很多人听到“标准答案”很容易察觉。真正有效的准备方式是用每道高频题作为索引把背后的概念、用例设计思路、评测方法和排查路径串成自己的知识树。面试时哪怕遇到没见过的题只要底层的测试思维和 AI 产品链路认知是完整的也能拆解出回答路径。可以挑选一个最熟悉的 AI 产品从用例设计到评测集再到自动化回归完整过一遍这套组合拳比刷一百道题都更有价值。
