算法厌恶:AI 犯一次错,就被永久拉黑
上一课讲信任要校准。这一课讲校准路上最大的一块石头:人对 AI 的容错率,远低于对人。同样犯一次错,人类同事会被原谅,AI 会被弃用。这个不对称有实验、有数据、也有解药。
你是销售 VP,手上有两个销量预测来源,上季度它俩犯了一模一样的错:同样的数字、同样的原因。点你下季度打算继续用的那个。
跟了你三年的销售分析师
用了两个季度的预测系统
宾大沃顿商学院,2015 年。Dietvorst、Simmons 和 Massey 让被试预测学生的学业表现,可以自己预测,也可以交给统计模型,预测得准有奖金。关键设计:先让一部分被试亲眼看到模型犯错。结果,看过模型犯错的被试大面积弃用模型,宁可用自己更差的判断,哪怕数据摆在眼前:模型的整体成绩比人高一截。论文标题就叫 Algorithm Aversion,算法厌恶。
偏心的根子在归因方式:同一种错误,用户脑子里给人和给 AI 记的账本不一样。下面六句用户的内心独白,判断每句是在评价人类同事还是AI。判完六句,三个心理根源自己浮出来。
Dietvorst 团队 2018 年接着做了后续实验:还是那个会犯错的模型,但这次允许被试微调模型的预测值,哪怕只允许改一点点。左边是被试看到的界面,右边是愿意用模型的人数比例,亲手切换两种设定。
把实验搬回你的产品。场景:AI 报销审核助手上线一个月,刚在一批新用户面前算错了一笔账。仪表盘显示这批用户的预期弃用率,右边四个工程杠杆全是你学过的开关,挨个拨开,看指针怎么动,每个开关的原理写在里面。
算法厌恶有个反向的孪生兄弟:自动化偏见。另一批用户会无条件接受 AI 输出,连显错的都照抄,第 5 课讲过全信酿成的事故。同一个产品里两种人都有:厌恶者需要控制权和稳定性,盲信者需要摩擦和警告。信任校准是双向工程,只往一头使劲,另一头就出事。
容错率不对称:人的错记给情境,AI 的错记给能力。同样的错,人被原谅,算法被弃用,哪怕算法整体成绩更好。
解药是控制权:2018 年的后续实验里,仅仅允许微调,用模型的人数翻倍,而且多数人几乎没动那个滑块。要的是权利,用不用另说。
首错的位置决定生死:新手期犯错触发弃用,老用户期犯错只触发吐槽。新用户走最稳的链路,实验性功能只对老用户开。
同一个坑只能掉一次:用户纠正过的错误要进记忆并展示「已记住」,第二次在原地翻车,厌恶叠加失望,基本救不回来。
内容来源:小山学堂「AI 产品心理学」专题原创;算法厌恶实验出自 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)与 Overcoming Algorithm Aversion(2018)。