알고리즘 혐오: AI가 한 번 틀리면 영구 차단
지난 레슨은 신뢰를 보정하는 이야기였어요. 이번엔 그 길 위의 가장 큰 돌이에요: 사람이 AI 실수에 허용하는 폭은, 사람 실수보다 훨씬 좁아요. 같은 한 번 실수—인간 동료는 용서받고, AI는 버려져요. 이 비대칭에는 실험도, 데이터도, 해독제도 있어요.
당신은 세일즈 VP예요. 매출 예측 소스가 둘 있는데, 지난 분기에 둘이 똑같은 실수를 했어요: 같은 숫자, 같은 원인. 다음 분기에도 쓸 쪽을 눌러 보세요.
3년째 함께한 세일즈 분석가
두 분기째 쓰는 예측 시스템
펜실베이니아대 와튼, 2015년. Dietvorst, Simmons, Massey는 참가자에게 학생 학업 성적을 예측하게 했어요—직접 하거나 통계 모델에 맡기거나, 맞히면 보너스. 핵심 설계: 일부 참가자에게 먼저 모델이 틀리는 걸 보여 줬어요. 결과, 모델 실수를 본 참가자는 대거 모델을 버리고 자기 더 못한 판단을 골랐어요—데이터가 모델 전체 성적이 사람보다 한 수 위라는 걸 보여 줘도요. 논문 제목이 바로 Algorithm Aversion, 알고리즘 혐오예요.
편향의 뿌리는 귀인 방식이에요. 같은 실수라도, 사용자가 사람과 AI에게 매기는 장부가 달라요. 아래 여섯 문장은 사용자의 속마음이에요—각각이 인간 동료를 평가하는지 AI를 평가하는지 골라 보세요. 여섯을 다 고르면 심리적 뿌리 세 개가 저절로 떠올라요.
Dietvorst 팀은 2018년에 후속 실험을 했어요: 여전히 틀리는 모델인데, 이번엔 참가자가 모델 예측값을 미세조정할 수 있게—조금만 고쳐도요. 왼쪽은 참가자가 본 화면, 오른쪽은 모델을 쓰겠다는 비율. 두 설정을 직접 바꿔 보세요.
실험을 제품으로 가져와요. 장면: AI 경비 심사 어시스턴트가 한 달째 살아 있는데, 신규 사용자 앞에서 방금 한 건을 잘못 계산했어요. 대시보드는 이 코호트의 예상 이탈률을 보여 주고, 오른쪽 엔지니어링 레버 네 개는 이미 배운 스위치예요. 하나씩 켜 보고 바늘이 어떻게 움직이는지, 각 스위치 원리는 안에 적혀 있어요.
알고리즘 혐오에는 거꾸로 된 쌍둥이 동생이 있어요: 자동화 편향. 다른 사용자들은 AI 출력을 무조건 받아들이고, 뻔히 틀린 것도 그대로 베껴요. 5레슨에서 전폭 신뢰가 만든 사고를 다뤘죠. 같은 제품에 두 유형이 다 있어요: 혐오형에게는 통제권과 안정성이, 맹신형에게는 마찰과 경고가 필요해요. 신뢰 보정은 양방향 엔지니어링이에요—한쪽만 밀면 다른 쪽이 터져요.
허용폭의 비대칭: 사람 실수는 상황에, AI 실수는 능력에 기록돼요. 같은 실수인데 사람은 용서받고 알고리즘은 버려져요—전체 성적이 더 좋아도요.
해독제는 통제권: 2018 후속 실험에서 미세조정만 허용해도 모델 사용 인원이 두 배가 됐고, 대부분은 슬라이더를 거의 안 움직였어요. 필요한 건 권리이고, 쓸지는 별개예요.
첫 실수 위치가 생사를 가르요: 초보 구간의 실수는 이탈을, 고참 구간의 실수는 투덜거림만 유발해요. 신규는 가장 안정한 경로로, 실험 기능은 고참에게만 여세요.
같은 구덩이는 한 번만: 사용자가 고쳐 준 오류는 기억에 넣고 「기억했어요」를 보여 줘야 해요. 같은 자리에서 두 번 넘어지면 혐오에 실망이 겹쳐 거의 못 살려요.
출처: 샤오산 아카데미 「AI 제품 심리학」 특집 오리지널; 알고리즘 혐오 실험은 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)과 Overcoming Algorithm Aversion(2018).