专题篇章 · AI 产品心理学

算法厌恶:AI 犯一次错,就被永久拉黑

上一课讲信任要校准。这一课讲校准路上最大的一块石头:人对 AI 的容错率,远低于对人。同样犯一次错,人类同事会被原谅,AI 会被弃用。这个不对称有实验、有数据、也有解药。

先投一票归因翻译器微调权实验弃用率仪表盘
动手 · 下个季度,你听谁的

你是销售 VP,手上有两个销量预测来源,上季度它俩犯了一模一样的错:同样的数字、同样的原因。点你下季度打算继续用的那个。

同样的错,你原谅哪个 投一票
这题没有标准答案,凭直觉点,点完看你和实验里大多数人一不一样
人 · 分析师老周
👨‍💼老周
跟了你三年的销售分析师
上季度预测华东区销量 5,000 万,实际 4,400 万,高估了 12%
复盘会上他说:竞品突然降价,这个真没料到。
AI · 预测系统
🤖SalesCast AI
用了两个季度的预测系统
上季度预测华东区销量 5,000 万,实际 4,400 万,高估了 12%
系统日志显示:竞品降价数据未纳入本次预测模型。
这个偏心有名字 · Dietvorst 的实验

宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试亲眼看到模型犯错。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶。

人们不是嫌算法不准,是嫌算法犯过错。准不准是统计问题,犯没犯过错是记忆问题,用户拿记忆做决定。
动手 · 归因翻译器:这句话在说人还是说 AI

偏心的根子在归因方式:同一种错误,用户脑子里给人和给 AI 记的账本不一样。下面六句用户的内心独白,判断每句是在评价人类同事还是AI。判完六句,三个心理根源自己浮出来。

六句独白,判断评价对象 0 / 6
每句点「说人」或「说 AI」,判完看归因规律
解药实验 · 给一点点控制权,厌恶大幅消退

Dietvorst 团队 2018 年接着做了后续实验:还是那个会犯错的模型,但这次允许被试微调模型的预测值,哪怕只允许改一点点。左边是被试看到的界面,右边是愿意用模型的人数比例,亲手切换两种设定。

微调权实验:两种设定切换 切一切
forecast.example.com
学生 #47 的学业百分位预测
模型预测62
你的调整62
本设定下模型结果为最终值,不可修改。
选择用模型的被试32%
宁可自己来的被试68%
动手 · 弃用率仪表盘:四个杠杆挨个拨

把实验搬回你的产品。场景:AI 报销审核助手上线一个月,刚在一批新用户面前算错了一笔账。仪表盘显示这批用户的预期弃用率,右边四个工程杠杆全是你学过的开关,挨个拨开,看指针怎么动,每个开关的原理写在里面。

首错之后:弃用率还能抢救多少 0 / 4
拨动右侧开关,左侧弃用率当场变;四个全拨开看还剩多少
这批用户的预期弃用率58%
首错已发生,算法厌恶全额生效:过半用户打算回去用 Excel。
当前状态:AI 算错一笔差旅费,用户在只读结果页里干瞪眼,改不了、撤不了,问客服说「模型偶尔会这样」。
选一选 · 刚被 AI 坑过的用户,先给他什么
用户刚被 AI 的错误坑了一次,哪个动作最能救回他? 单选
选错也有解释,选到对的为止
A弹窗道歉:「非常抱歉给您带来不便,我们的模型仍在持续优化」
B发放补偿:送他一个月会员,表达诚意
C让他亲手改:错误处一键修正,系统记住这条规则并展示「已记住,下次生效」
D技术升级:连夜换上更强的模型,用准确率把信任赢回来
别忘了反方向 · 自动化偏见

算法厌恶有个反向的孪生兄弟:自动化偏见。另一批用户会无条件接受 AI 输出,连显错的都照抄,第 5 课讲过全信酿成的事故。同一个产品里两种人都有:厌恶者需要控制权和稳定性,盲信者需要摩擦和警告。信任校准是双向工程,只往一头使劲,另一头就出事。

本节要点

容错率不对称:人的错记给情境,AI 的错记给能力。同样的错,人被原谅,算法被弃用,哪怕算法整体成绩更好。

解药是控制权:2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说。

首错的位置决定生死:新手期犯错触发弃用,老用户期犯错只触发吐槽。新用户走最稳的链路,实验性功能只对老用户开。

同一个坑只能掉一次:用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来。

内容来源:小山学堂「AI 产品心理学」专题原创;算法厌恶实验出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)与 Overcoming Algorithm Aversion(2018)。