AI 제품 심리학

알고리즘 혐오: AI가 한 번 틀리면 영구 차단

지난 레슨은 신뢰를 보정하는 이야기였어요. 이번엔 그 길 위의 가장 큰 돌이에요: 사람이 AI 실수에 허용하는 폭은, 사람 실수보다 훨씬 좁아요. 같은 한 번 실수—인간 동료는 용서받고, AI는 버려져요. 이 비대칭에는 실험도, 데이터도, 해독제도 있어요.

먼저 한 표귀인 번역기미세조정권 실험이탈률 대시보드
실습 · 다음 분기, 누구 말을 들을까요

당신은 세일즈 VP예요. 매출 예측 소스가 둘 있는데, 지난 분기에 둘이 똑같은 실수를 했어요: 같은 숫자, 같은 원인. 다음 분기에도 쓸 쪽을 눌러 보세요.

같은 실수, 어느 쪽을 용서할까요 한 표 투표
정답은 없어요. 직감으로 누르고, 실험의 다수와 같은지 확인해 보세요
사람 · 분석가 라오저우
👨‍💼라오저우
3년째 함께한 세일즈 분석가
지난 분기 화둥 지역 매출을 5,000만으로 예측했고 실제는 4,400만—12% 과대평가.
회고에서 그가 말했어요: 경쟁사가 갑자기 할인해서, 정말 못 봤어요.
AI · 예측 시스템
🤖SalesCast AI
두 분기째 쓰는 예측 시스템
지난 분기 화둥 지역 매출을 5,000만으로 예측했고 실제는 4,400만—12% 과대평가.
시스템 로그: 경쟁사 할인 데이터가 이번 예측 모델에 포함되지 않음.
이 편향에는 이름이 있어요 · Dietvorst의 실험

펜실베이니아대 와튼, 2015년. Dietvorst, Simmons, Massey는 참가자에게 학생 학업 성적을 예측하게 했어요—직접 하거나 통계 모델에 맡기거나, 맞히면 보너스. 핵심 설계: 일부 참가자에게 먼저 모델이 틀리는 걸 보여 줬어요. 결과, 모델 실수를 본 참가자는 대거 모델을 버리고 자기 더 못한 판단을 골랐어요—데이터가 모델 전체 성적이 사람보다 한 수 위라는 걸 보여 줘도요. 논문 제목이 바로 Algorithm Aversion, 알고리즘 혐오예요.

사람들은 알고리즘이 부정확해서가 아니라, 틀린 적이 있어서 싫어해요. 정확도는 통계 문제고, 틀린 적 있는지는 기억 문제—사용자는 기억으로 결정해요.
실습 · 귀인 번역기: 이 말은 사람 얘기일까 AI 얘기일까

편향의 뿌리는 귀인 방식이에요. 같은 실수라도, 사용자가 사람과 AI에게 매기는 장부가 달라요. 아래 여섯 문장은 사용자의 속마음이에요—각각이 인간 동료를 평가하는지 AI를 평가하는지 골라 보세요. 여섯을 다 고르면 심리적 뿌리 세 개가 저절로 떠올라요.

여섯 속마음, 평가 대상을 고르세요 0 / 6
각 문장에서 「사람 얘기」또는 「AI 얘기」를 누르고, 귀인 패턴을 보세요
해독제 실험 · 아주 작은 통제권만 줘도 혐오가 크게 줄어들어요

Dietvorst 팀은 2018년에 후속 실험을 했어요: 여전히 틀리는 모델인데, 이번엔 참가자가 모델 예측값을 미세조정할 수 있게—조금만 고쳐도요. 왼쪽은 참가자가 본 화면, 오른쪽은 모델을 쓰겠다는 비율. 두 설정을 직접 바꿔 보세요.

미세조정권 실험: 두 설정 전환 바꿔 보세요
forecast.example.com
학생 #47 학업 백분위 예측
모델 예측62
내 조정62
이 설정에서는 모델 결과가 최종값이며 수정할 수 없어요.
모델을 선택한 참가자32%
직접 하겠다는 참가자68%
실습 · 이탈률 대시보드: 레버 네 개를 하나씩

실험을 제품으로 가져와요. 장면: AI 경비 심사 어시스턴트가 한 달째 살아 있는데, 신규 사용자 앞에서 방금 한 건을 잘못 계산했어요. 대시보드는 이 코호트의 예상 이탈률을 보여 주고, 오른쪽 엔지니어링 레버 네 개는 이미 배운 스위치예요. 하나씩 켜 보고 바늘이 어떻게 움직이는지, 각 스위치 원리는 안에 적혀 있어요.

첫 실수 이후: 이탈률을 얼마나 살릴 수 있을까요 0 / 4
오른쪽 스위치를 돌리면 왼쪽 이탈률이 바로 변해요. 넷을 다 켜 보고 얼마나 남는지 확인하세요
이 코호트 예상 이탈률58%
첫 실수가 이미 났고, 알고리즘 혐오가 전액 적용 중: 절반 이상이 Excel로 돌아갈 생각이에요.
현재 상태: AI가 출장비를 한 건 잘못 계산했고, 사용자는 읽기 전용 결과 화면만 보고 있어요—고칠 수도, 취소할 수도 없고, 고객지원은 「모델이 가끔 그래요」라고 해요.
골라 보세요 · AI에게 한 번 당한 사용자에게, 먼저 뭘 줄까요
사용자가 AI 실수에 한 번 당했어요. 어떤 행동이 가장 잘 구해 올까요? 객관식
틀려도 설명이 나와요. 맞을 때까지 골라 보세요
A사과 팝업: 「불편을 드려 죄송해요. 저희 모델은 계속 개선 중이에요」
B보상: 한 달 멤버십을 드려 성의를 보여요
C직접 고치게: 오류 지점 원클릭 수정, 시스템이 규칙을 기억하고 「기억했어요, 다음에 적용」표시
D기술 업그레이드: 밤새 더 강한 모델로 바꿔 정확도로 신뢰를 되찾아요
반대 방향도 잊지 마세요 · 자동화 편향

알고리즘 혐오에는 거꾸로 된 쌍둥이 동생이 있어요: 자동화 편향. 다른 사용자들은 AI 출력을 무조건 받아들이고, 뻔히 틀린 것도 그대로 베껴요. 5레슨에서 전폭 신뢰가 만든 사고를 다뤘죠. 같은 제품에 두 유형이 다 있어요: 혐오형에게는 통제권과 안정성이, 맹신형에게는 마찰과 경고가 필요해요. 신뢰 보정은 양방향 엔지니어링이에요—한쪽만 밀면 다른 쪽이 터져요.

핵심 요점

허용폭의 비대칭: 사람 실수는 상황에, AI 실수는 능력에 기록돼요. 같은 실수인데 사람은 용서받고 알고리즘은 버려져요—전체 성적이 더 좋아도요.

해독제는 통제권: 2018 후속 실험에서 미세조정만 허용해도 모델 사용 인원이 두 배가 됐고, 대부분은 슬라이더를 거의 안 움직였어요. 필요한 건 권리이고, 쓸지는 별개예요.

첫 실수 위치가 생사를 가르요: 초보 구간의 실수는 이탈을, 고참 구간의 실수는 투덜거림만 유발해요. 신규는 가장 안정한 경로로, 실험 기능은 고참에게만 여세요.

같은 구덩이는 한 번만: 사용자가 고쳐 준 오류는 기억에 넣고 「기억했어요」를 보여 줘야 해요. 같은 자리에서 두 번 넘어지면 혐오에 실망이 겹쳐 거의 못 살려요.

출처: 샤오산 아카데미 「AI 제품 심리학」 특집 오리지널; 알고리즘 혐오 실험은 Dietvorst, Simmons & Massey, Algorithm Aversion(2015)과 Overcoming Algorithm Aversion(2018).