AI使用与职业疏忽:从注意义务到可辩护的决策流程

AI使用与职业疏忽:从注意义务到可辩护的决策流程 不使用AI会不会有一天被定性成疏忽这个问题最近在我自己团队里被问了很多次。往年大家讨论的是“AI能做什么”现在已经开始讨论“不用AI会不会担责”。这个变化非常实际因为它把AI从一个效率工具抬升到了责任工具的位置。围绕这个问题的答案并不简单一边是AI幻觉、数据泄漏、可解释性问题另一边是行业标准、注意义务和事后追责。标题里的“Damned if you do and damned if you dont”说的就是这种两难。我不打算在这里给法律结论而是从技术管理和职业实践的角度拆一拆这个两难到底怎么破。1. 先搞明白“不使用AI算不算疏忽”这个问题的真实含义1.1 这不是技术问题而是注意义务问题“疏忽”或“失职”在职业语境里一般不是指“做错了某一步”而是指“没有尽到合理注意义务”。注意义务的重点不是一定要用某种工具而是你有没有按照一个合格的专业人员在相同条件下会采取的方式工作。随着AI工具逐渐被更多团队接受大家默认的工作标准也在悄悄变化。以前代码查错主要靠人眼现在很多团队已经把静态检查、依赖安全检查、常见漏洞扫描直接写进CI流程。如果这些环节已经是行业默认配置而你完全没有自动化检查出了问题之后你很难解释“为什么别人会查你没有查”。这时候问题已经从“用不用AI”变成了“你有没有尽到合理注意义务”。换个角度说哪怕不使用AI也可能构成疏忽。判断的关键并不是“你是不是用了AI”而是“你是不是用了一种在当前环境中被认为是合理的检查方式”。如果AI已经成为其中一种合理检查方式那么完全不用就会增加解释成本。注意这里是“可能”而不是“必然”因为还要看行业规范、工具成熟度和岗位边界。越成熟的场景AI越可能被认定为“合理检查方式”的一部分越新的场景争议空间越大。1.2 “用了AI也可能被追责”的另外半边标题里的“damned if you do”同样重要。现在很多AI模型会一本正经地生成错误内容这就是常说的AI幻觉。比如AI编程工具可能给你一个不存在的包名AI写作工具可能编造文献出处。如果团队把AI生成的结果直接当成最终结论没有人工复核出问题之后责任并不会自动转给模型。原因很简单最终决策和签字的是人。你能不能说清楚“我为什么相信这个AI输出”往往比“用了什么AI”更重要。我见过不少团队上了AI辅助工具后效率确实提高了可一旦AI给出错误结果大家的第一反应是“模型不行”。但真正的问题往往是他们没有定义“模型输出之后人到底还要做什么”。所以这是一个双面问题不用AI可能被质疑没有尽到合理注意用了AI如果过程不透明、复核不到位也会被质疑没有尽到专业责任。真正要解决的不是二选一而是建立一套可解释、可追溯、有复核的AI使用流程。这也是后面几节要展开的内容。2. 哪些场景最容易扯到“该用AI而没用”2.1 代码安全和代码质量检查软件行业里自动化代码检查已经非常普及。常见的安全扫描、依赖漏洞检查、重复代码检测很多都是免费且稳定的工具。如果一个项目上线前完全没有使用自动化检查出现安全事件后“为什么没做自动化扫描”会是第一个被问的问题。这里其实已经不需要强调“是不是AI”因为很多静态分析工具本身就带智能规则。更实际的是这些工具能不能真正集成到流程里而不是偶尔手动跑一次。我自己见过一个团队安全扫描工具装好了但只在发布前一天手动跑一次。结果发布窗口一赶扫描直接被跳过。这种“装而不用”和“完全不用”没有本质区别。我的建议是先把团队已经在用的工具链梳理一遍。如果已经有自动化检查再把AI辅助的代码审查、单元测试生成、缺陷预测加进去。这样能降低门槛也不会因为引入AI而影响已有流程。2.2 法律文书处理和判例检索法律行业现在已经有大量AI工具辅助做案例检索、合同审查、摘要生成。原因很直接这些任务需要处理大量文档人工检索速度远低于工具。但法律场景对准确性要求极高AI生成的案例或引文如果不经过核验会带来严重问题。所以我更愿意说AI在这里是“第一轮筛选器”不是最终答案。使用AI能提升检索覆盖度但最终的判断仍然要由人完成。如果一个法律从业者在遇到明显可以由AI辅助的案件检索需求时完全不用AI在争议中确实可能被质疑效率低下或没有尽到合理注意。但具体是否构成疏忽要看法庭或仲裁机构如何认定当时的行业标准。这里不能一概而论。非法律行业的人也可以从中得到一个通用经验在文档密集、信息检索量大、重复劳动多的岗位如果不主动使用AI辅助同一件事的完成速度和覆盖范围可能会远远落后于同行。一旦出现争议落后不是最可怕的最可怕的是你没有记录或流程解释“为什么选择了更慢的方式”。2.3 医疗影像和初步筛查医疗领域对AI辅助诊断一直很谨慎但也有一些影像识别工具进入了临床辅助的角色。如果医院已经采购了某种经过批准的AI辅助筛查工具医生却没有按规程使用在误诊争议中可能会被问到“为什么没有启用设备自带的辅助功能”。不过这个领域的要求非常严格不是所有AI工具都能直接用于诊疗是否有强制使用义务要看医院内部流程和监管规定。这个场景给我们的启发是AI工具一旦进入业务流程就不再是“可选插件”而是流程的一部分。以后很多行业都会这样先是可选项慢慢变成默认项最后变成合规项。提前识别自己的业务中哪些是“正在从可选变成默认”的环节很重要。2.4 客服、风控、内容审核等高频重复决策客服质检、风控初筛、内容审核这类任务每天处理量大规则相对明确非常适合用AI做分类和预警。完全靠人工容易漏掉大范围异常完全靠AI则容易把个体差异误判。所以行业里常见的做法是“AI初筛 人工复核”。如果没有这个机制不管是出审还是不审都容易背上“流程缺失”的责任。在这个场景里讨论“不用AI是否构成疏忽”反而有点早因为更明显的问题是流程效率低、口径不一致。我建议先把业务规则沉淀出来再决定AI介入的深度。先做到“规则统一”再做到“AI辅助”最后才是“自动化决策”。如果顺序反了团队会被AI的错误输出牵着走。3. 反过来看使用AI也至少躲不开四类坑3.1 AI幻觉和错误引用这是使用AI时最直接的风险。尤其在文本生成、编程、问答场景里模型很可能用流利的语言讲一个完全错误的信息。很多人都遇到过AI给出一个明显编造的论文、URL或API如果直接粘贴到正式文档里问题就大了。关键不是“AI会犯错”而是“你有没有设计一个发现错误的步骤”。我一般会把AI生成的内容当成实习生初稿必须做事实核验和逻辑检查。比如用AI生成代码时不存在的第三方库会在运行时报错这个还能被发现但用AI生成合同条款或技术方案时错误可能藏在措辞里不容易一眼看出来。所以越是看起来“专业”的AI输出越需要人工拆解验证。3.2 输入数据合规与隐私很多企业要求源代码、客户资料、内部经营数据不能随便发给外部AI服务。如果不做数据分类直接把敏感信息粘贴到AI对话框里这本身就是一次数据泄漏。在数据合规要求比较严格的行业这比“不用AI”更严重。所以团队里要有一个基本原则敏感数据先脱敏或者使用本地部署的模型。如果条件不允许宁可直接人工处理。特别是现在很多团队在做AI应用开发或AI模型部署会把数据接入外部模型做推理这一步很容易忽略“数据是否经过授权”。我建议在任何AI任务启动前先确认三件事数据是谁的、能不能给这个工具处理、处理完之后日志保存在哪里。3.3 可解释性和监管要求金融、医疗、司法等场景里决策通常需要可解释。AI模型往往是黑盒输出结果缺乏详细推理过程。如果在这些场景里直接用AI做决定遇到争议时很难提供依据。一个可行的办法是让AI输出只能用来辅助决策并在旁边保留规则引擎、人工审批记录和操作日志形成可解释的证据链。监管问起来你能说清楚人做了什么、AI做了什么。如果你的团队在用AI Agent自动执行任务更要给Agent设置边界和人工确认点。否则一个自主运行的Agent做出错误判断你连在哪里打断它都不知道。3.4 盲从自动化造成的复核松懈还有一个很容易被忽略的问题团队开始用AI之后人工复核经常变弱。大家觉得“AI检查过了”就不再看原始材料。这是最危险的习惯。AI降低了一部分重复劳动但没有降低结果责任。正确的做法是让AI负责扩大检查范围和提示风险人负责判断是否接受。也就是“AI兜底 人复核”而不是“AI完成 人签字”。我在做质量流程设计时会把人工复核节点明确写在流程图里并检查“复核行为是否有痕迹”。没有痕迹就等于没做。4. 怎么设计一套“可辩护”的AI使用决策流程4.1 第一步把任务分成高、中、低影响等级不要对所有任务一刀切。先画一张表按影响程度和规则清晰度分类。任务类型AI介入程度复核要求低影响、规则清晰可以自动处理抽样复核即可中影响、规则较清晰AI初筛必须有人工复核高影响、规则模糊不建议直接决策必须人工主导AI只做参考涉及敏感数据禁止使用外部AI本地处理或脱敏后使用高影响任务比如医疗建议、合同审核、大额风控原则上必须人工复核低影响任务比如格式转换、文本去重可以让AI直接处理规则清晰且数据不敏感的任务可以逐渐自动化规则模糊且容易产生伦理争议的任务即使技术成熟也要保留人工决策。这个分级要写下来让团队在任务启动前先判断。4.2 第二步给“用不用AI”设定明确触发条件这里可以设置几个触发条件。比如当任务量超过一定阈值必须使用AI做初筛。当数据包含个人信息或商业机密禁止使用外部AI工具。当模型输出将直接影响客户必须经过第二人复核。当AI输出置信度低于某个阈值自动转人工处理。把这些条件写进团队规范比临时拍脑袋要可靠得多。这样既能避免“该用而不用”也能避免“不该用而滥用”。很多团队不是没有AI工具而是没有定义“什么情况下必须用、什么情况下不能用”。一旦定义清楚争议会少很多。我知道有些团队会担心规范太复杂影响效率。其实可以分阶段实施先定最核心的“禁止条件”和“必要复核条件”跑上一段时间后再补充“触发条件”。不要一开始就追求标准流程先把最容易踩雷的地方堵住。4.3 第三步保留完整的操作记录操作记录是整个流程里最容易被低估的部分。建议至少记录使用的时间、AI工具名称和版本、输入的关键信息、输出结果、人的复核结论、修改内容、最终审批人。哪怕记录是一张简单的表格事后也能证明你当时确实走过了“生成-评估-复核-批准”的流程。记录的重点不是多好看而是遇到争议时你能拿出来说清楚决策过程。有一个细节需要注意记录不要只记AI输出了什么还要记“人是怎么判断的”。比如“甲方要求XXAI提供了A方案人工判断A方案风险过高改为B方案”。这种记录比单纯粘贴AI输出有价值得多。因为争议发生时对方真正关心的是“你作为专业人员有没有做独立判断”。5. 团队和个人落地时能直接照做的检查清单5.1 五个关键问题第一个问题这个岗位的普遍实践中AI辅助是不是已经接近默认配置如果是完全不用就必须有书面理由。第二个问题这次任务的数据能不能合法进入AI工具不能确定就默认不能先脱敏或人工处理。第三个问题如果AI输出是错误的我能不能在后端发现发现不了就不能直接采纳。第四个问题如果不用AI我有没有其他方式达到同等检查密度没有的话风险会上升。第五个问题我的操作记录在争议发生时能说清楚吗说不清等于没有做。这五个问题可以打印出来贴在工位上每次用AI前后快速过一遍。不要小看这个习惯它能让很多潜在风险在源头上被拦住。5.2 常见误区与排查顺序常见误区有两个。一个是把AI工具当成结论来源看到输出就觉得可以交差另一个是担心AI担责索性完全不碰结果错过了行业主流实践。真正需要养成的习惯是把AI当成需要验证的输入把人工核验当成必经步骤。排查问题时按这个顺序走先看任务边界是否明确。再看数据合规是否通过。最后看人工复核和记录是否完整。大多数“AI事故”不是模型不够强而是边界、数据、复核这三件事没做好。我遇到过一些团队AI生成的内容出了错第一反应是换模型、调Prompt折腾了半天才发现根本没有定义“谁来对AI输出做最终确认”。这时候换什么模型都没用。5.3 先从一个小范围试点开始我不建议团队一上来就全量启用AI也不建议因为怕担责直接禁掉。更稳妥的方式是选一个低风险场景比如内部文档摘要、日志异常检测、代码格式检查跑两到三周记录准确率、误报率和人工介入频率。再根据结果决定是否扩展到更重要的场景。这既能控制风险也能让团队积累真实的AI工程实践经验。试点期间不要追求指标好看要重点记录“AI在哪些地方错了、人是怎么纠偏的”。这些纠偏案例往往是沉淀团队规范的最佳素材。6. 我的真实建议把“用不用”改成“如何用”6.1 对个人建立自己的AI使用边界如果你是一名工程师、产品经理、设计师或运营建议给自己写一份简短的使用规范。比如不把含密钥的代码贴给外部AI不在没有核对来源的情况下引用AI生成的结论对会产生业务影响的AI输出一定保留修改时间和理由。这些规则不需要很长但能在关键时刻避免“一句AI说的”变成了“我签字的”。尤其是技术岗位代码里如果混入了AI生成的错误依赖最终运行报错时背锅的不是模型而是写代码的人。所以个人边界越清晰责任越容易讲明白。6.2 对团队把AI嵌入现有质量流程团队层面要做的不是另起一个“AI合规”项目而是把AI相关检查点嵌入到原有的代码评审、内容审核、风控审批流程里。比如在代码评审中增加“AI安全扫描报告是否为空”、在客服工单中增加“AI分类置信度低于阈值需人工处理”。这么做的好处是AI不是额外负担而是现有流程的一部分。团队的接受度会更高规则也能落到实处。我比较反感把“AI使用规范”做成一个文档然后束之高阁。真正有效的规范应该出现在工具链、工单系统、评审模板里让人在执行任务时不得不看到它。6.3 对关注法律责任的人把它当成风险管理问题如果这篇文章触发了你对法律风险的关注最稳妥的做法是咨询执业律师而不是在网上看结论。不同行业的注意义务标准、不同地区的监管要求都不一样。你可以把前面提到的任务分级、操作记录和触发条件整理成一份材料带着材料去找专业人员。这样你得到的建议会更具体。“不使用AI是否构成疏忽”这个问题短期内不会有统一答案。它取决于行业惯例、工具成熟度、岗位职责、数据条件等多种因素。与其等一个明确结论不如先把自己的决策流程做得更扎实。最后说一句做与不做都会被质疑不是必须二选一。真正能减少两难感的是你能在事发之后清楚地证明自己的决策过程是有根据、有复核、有记录的。AI是工具最终承担责任的是人。把这个逻辑想清楚很多不敢用或者乱用的问题都会自然化解。