测试工程师转型 AI 质量保障：从测 Bug 到测“智商“-尧图网络科技

我是老周，一个干了 9 年测试的工程师。

从手工点按钮到自动化脚本，从 Selenium 到 Playwright，我把测试这件事儿玩到了极致。任何系统到我手里，没有找不到的 Bug。🐛

但大模型出来后，我懵了。以前测系统，输入是确定的，输出是确定的。现在测 AI，同一个问题问两遍，答案可能不一样。这怎么测？用例怎么写？预期结果是什么？🤷‍♂️

更让我困惑的是，以前测的是"对不对"，现在测的是"好不好"。大模型没有标准答案，那什么算 Bug？

老板说："老周，你经验丰富，来负责 AI 系统的质量保障吧。"我表面淡定，内心慌得一批。

觉醒：AI 测试不是测软件，是测"智商"

啃了两个月的论文和最佳实践，我终于悟了：

传统测试：验证系统是否按预期工作（Deterministic）
AI 测试：验证模型是否在给定场景下表现"足够好"（Probabilistic）

这不是一个维度的问题。传统测试是"对错题"，AI 测试是"主观题"。

但换个角度，测试工程师的核心能力——设计验证方案、构造边界场景、评估系统质量——在 AI 时代反而更重要了。

实战：搭建大模型 Prompt 评测体系

我接手的第一个 AI 项目是一个智能客服系统。核心业务逻辑就是：用户提问 → 大模型理解 → 生成回答。

我的任务：确保这个系统的回答"靠谱"。

我设计了一套三层评测体系：

第一层：Prompt 鲁棒性测试

importjsonimportopenaifromtypingimportList,DictclassPromptRobustnessTester:""" Prompt 鲁棒性测试器 核心思路：同一个问题用不同方式问，看模型回答是否一致 """def__init__(self,api_key:str,model:str="gpt-4"):self.client=openai.OpenAI(api_key=api_key)self.model=modeldefgenerate_variations(self,original_question:str)->List[str]:""" 生成同一语义的不同表达方式（对抗测试） """variations=[original_question,# 原始表达original_question.replace("怎么","如何"),# 同义词替换original_question+"呢？",# 语气词变化original_question.replace("你","请问"),# 称谓变化f"我想了解一下，{original_question}",# 句式变化]returnvariationsdeftest_consistency(self,question:str)->Dict:""" 测试模型对同一问题的回答一致性 Returns: { "question": 原始问题, "variations": 变体列表, "answers": 各变体的回答, "consistent": 是否一致（人工判定或语义相似度） } """variations=self.generate_variations(question)answers=[]forvarinvariations:response=self.client.chat.completions.create(model=self.model,messages=[{"role":"system","content":"你是一个智能客服助手，用简洁中文回答。"},{"role":"user","content":var}],temperature=0.7,# 控制随机性，值越低回答越确定max_tokens=500)answers.append(response.choices[0].message.content)# 用简单规则判断一致性：如果所有回答包含相同关键词，认为一致keywords=self._extract_keywords(answers[0])consistent=all(any(kwinansforkwinkeywords)foransinanswers)return{"question":question,"variations":variations,"answers":answers,"consistent":consistent}def_extract_keywords(self,text:str)->List[str]:"""简单提取关键词（实际可用 NLP 分词）"""# 去除标点，按空格分词，取长度大于 2 的词importre words=re.findall(r'\b\w{2,}\b',text)returnwords[:5]# 取前 5 个关键词# 使用示例if__name__=="__main__":tester=PromptRobustnessTester(api_key="sk-...")# 测试一个核心业务的鲁棒性result=tester.test_consistency("怎么退款？")print(f"📝 原始问题：{result['question']}")print(f"🔄 测试了{len(result['variations'])}种变体")print(f"✅ 一致性：{'通过'ifresult['consistent']else'不通过'}")fori,(var,ans)inenumerate(zip(result['variations'],result['answers'])):print(f"\n变体{i+1}:{var}")print(f"回答:{ans[:100]}...")