微信公众号 aifellows
← 首页
RM 12

智能体出错了,谁负责?

执行事故在机器,治理事故在人。

智能体出错了,谁负责?

今年行业里都在说一件事,2026是AI Agent元年。不是概念上的元年,是真的一年。IDC有个预测,头部企业智能体使用量明年要增长10倍。

我身边也是这个感觉。去年大家还在讨论"要不要试",今年变成了"什么时候上"。上个月有个同行跟我聊天,他们公司刚上线了一个智能体,负责自动汇总各项目的费用数据,每周生成一份简报发到管理群。跑了三周都好好的,第四周突然把两个项目的数据搞混了,简报里出现了已经终止的合同金额。

好在总经理那天忙,没细看。但财务总监看到了,截图发到群里问了一句,这个数哪来的?

群里又是一阵安静。

他跟我说的那句话我印象特别深,最尴尬的不是数据搞错了,数据搞错了能改。最尴尬的是没有人说得清这个错是在哪一步发生的。是原始数据有问题,还是智能体汇总的时候没做校验,还是发简报之前根本没有人设审核环节。每个人都在说"这事不归我",但每个人又都觉得"这事应该有人管"。

做了20年人力,我对这种"应该有人管但没人管"的状态太熟了。组织里大部分责任黑洞,都不是因为人不想负责,而是因为没人提前把责任链条画清楚。只不过以前这个黑洞只存在于人和人之间,现在人和机器之间也出现了。

智能体犯错,执行事故在机器,治理事故在人。

Agent元年, rushing 上线的多,想清楚责任的少

现在越来越多的公司在试智能体。有的让它接客服,有的让它做报表,有的让它起草方案。尤其是地产行业,华润置地刚裁了10%的人,整个行业央企三年减了五万多。人少了,活还在,很多公司第一反应就是用智能体补缺口。

这个方向没问题。但如果你问一句,它出了错算谁的?十个公司里有八个答不上来。

不是他们不重视。而是这件事以前不需要回答。

以前系统犯错,责任链很清楚。系统是你买的,配置是你填的,规则是你定的,所以出了错要么找供应商,要么找内部运维。但智能体不一样。它能自己判断,它能自己组合工具,它能自己决定执行路径。它犯的错,很多时候不是配置写错了,而是它在某个判断节点上做了一个看起来合理但实际不对的选择。

这就带来一个以前从来没有过的问题。如果这个选择是人做的,责任在他。但如果是智能体做的,责任在哪里?

很多公司的第一反应是,那就还是算人的。谁引进的谁负责,谁审批的谁负责。

这个直觉对了一半,但只有一半。

结果责任确实最终在人。但如果你只说"出了错算人的",你什么都没解决。

四层责任,不能打包甩给一个人

我后来仔细想了一下这件事,觉得问题出在一个地方。很多人把智能体的责任当成一个整体在看,好像它出了错,找一个人兜底就行了。但实际上一旦智能体进入流程,责任至少会分成四层。

第一层是结果责任。简报发出去,数字错了,这件事最终一定有一个人要对外扛。这层跑不掉,也不能含糊。不管中间经过多少智能体,最终签字或确认结果的那个人,就是结果责任人。

第二层是审核责任。智能体跑出来的东西,谁来审?审到什么程度?是每条都过目,还是只看异常值?审核责任如果不清,结果责任人就会变成背锅人,因为他既审不了又逃不掉。

第三层是配置责任。智能体的权限是谁设的,边界是谁定的,它碰哪些数据、不碰哪些数据,谁说了算。配置出问题,智能体按规则跑也会跑偏。这一层通常应该是管理者来定,不是技术团队自己决定。

第四层是升级责任。当智能体遇到它处理不了的情况,它应该停下来问谁?问完以后谁来决定是继续还是回滚?升级路径如果不提前画好,出了事就只能靠群里喊人,喊到谁算谁。

这四层责任,如果只笼统地说"出了错算负责人的",等于四层全压在一个人身上。然后你会发现这个人既没有时间审,也没有权限改配置,更没有权力决定升级。出了事他背锅,但出事之前他什么都管不了。

这才是智能体落地里最贵的一个bug。不是它不够聪明,而是没人提前说清楚聪明到哪一步必须停,停了以后谁来接。

98.9%的准确率,剩下的1.1%谁来兜

最近行业里有个说法叫"可信智能体",说企业级AI操作准确率已经到了98.9%。听着很漂亮。

但你想过没有,98.9%意味着什么?意味着每100次操作里,还有1到2次是错的。如果你的智能体每天跑1000个流程,每天就有10到20个错误。如果你的公司有5个智能体同时在跑,每天就有50到100个潜在的错误在系统里流动。

这50到100个错误,你知道出在哪吗?有人盯着吗?出了错有人接得住吗?

坦率的讲,大部分公司连一个智能体的责任链条都没画清楚,更别说五个了。行业里说Agent元年来了,Agent确实来了。但Agent的速度比管理的速度快。技术团队一个月能上线三个智能体,管理团队可能三个月还没把一个智能体的责任链条理顺。

这个速度差才是真正的风险。不是AI不够好,是管理没跟上。

最怕的不是犯错,是不知道错在哪一层

回到我那个同行的故事。财务总监问"这个数哪来的",群里安静,不是因为大家不负责,而是因为没有人能回答。数据从哪来的,汇总逻辑是谁定的,异常值有没有校验规则,发出去之前有没有审核环节。每一个环节都可能是出错的点,但每一个环节都没有事先标过责任人。

我后来跟他说,你现在的问题不是智能体搞错了数据。你的问题是,你不知道这个错发生在哪一层。是配置层没设校验规则?是执行层智能体汇总逻辑出了偏差?还是审核层根本就没有人看过就直接发出去了?

如果你不知道错在哪一层,你就修不了。你只能把整个流程停掉,等搞清楚了再上。但下一次再错,大概率还是不知道错在哪。

这和带人的逻辑一模一样。一个团队出了问题,成熟的管理者不会只说"这事你负责"。他会先拆清楚,是目标没定清楚,是能力不够,是流程有漏洞,还是没有汇报机制。每一层的问题解法不一样。对人如此,对智能体也一样。

成熟的公司不是智能体不出错,而是错了以后,三十秒内就知道错在哪一层,该找谁,怎么改。

责任链条不清,所有管理动作都是空转

说真的,这件事我想了很久。为什么那么多公司敢花钱买智能体,敢放它进流程,却不愿意花时间把责任链条画清楚?

我觉得原因只有一个。画责任链条这件事,太像管理工作了。不热闹,不性感,不好汇报。不像"我们上线了一个AI助手"那样可以拿去跟老板说。

但管理的真相从来都在这些不热闹的事里面。

岗位说明书不热闹,权限表不热闹,审批链不热闹,例外处理规则不热闹。但这些才是组织能跑起来的底层代码。你不在这些地方花时间,后面所有看起来热闹的东西,都会在某一天突然停下来。

特别是现在这个时间点。地产刚裁完人,组织还在适应期,旧的责任关系已经被打乱了,新的还没建起来。这时候急着上智能体,等于在一个已经松动的地基上盖楼。盖得越快,塌得越突然。

我自己的体会是,智能体管理最核心的动作,不是训练它更聪明,不是接更多工具,而是提前把一件事想透。它在什么情况下会犯错,犯了错责任怎么分,分完责任每一层的人知道不知道自己该做什么。

这三个问题想清楚了,哪怕智能体还不够聪明,你也能兜得住。想不清楚,再强的智能体也只是把风险从"人犯错"换成了"系统犯错",而且犯了错你都不知道该找谁。

人工犯错是执行事故,配置不当犯错是治理事故。治理事故的代价,永远比执行事故大。

先做一件事

如果你公司里已经在跑智能体,我建议你明天做一件事。把所有正在运行的智能体列出来,对每一个只问四个问题。

它的结果谁签字?它跑出来的东西谁来审?它的权限和边界谁定的?它遇到处理不了的情况,停下来问谁?

四个问题能答清楚,你的智能体就有了一个最基本的责任框架。答不清楚,先别让它碰核心流程。

上一篇我聊到,智能体越来越像员工,但大多数公司还没给它写过岗位说明书。岗位说明书解决的是"它干什么"的问题。这一篇要解决的是另一个问题,它出了事,责任怎么分。

岗位定义了能力边界,责任链条定义了安全边界。两条都画清楚了,智能体才能从"试一试"变成"真正接得住"。

下一篇我想接着往下聊。责任链条画清楚以后,管理者马上会遇到一个更大的问题,如果 AI 只是被每个人各用各的,组织真的会变快吗。

因为很多企业现在的尴尬,不是没人用 AI,而是用的人越来越多,组织却没有真的变成一个更会工作的组织。工具进了电脑,口径、复核、留痕、资产和指标还没有进组织。

这也是下一篇想聊的,AI 用得越多,组织反而越散。

AI大同学 | 在职管理者,管理学博士,正在经历AI对管理的重塑。这是系列观察的第十二篇。

开篇

路径

要盯的事

结构

看完记住