AI 속 정렬의 진짜 모습: Rerank
지난 강의의 정렬은 숫자 크기를 겨뤘지만, AI 세계에서는 “관련성”을 줄 세웁니다: RAG가 지식 베이스에서 문단을 잔뜩 건져 오면, 앞에 선 쪽이 컨텍스트에 끼어들 수 있어요—줄이 틀리면 모델이 틀린 자료를 진지하게 인용합니다. 이 “점수 + 재정렬” 단계가 Rerank예요. 오늘은 직접 투입되어 Rerank 모델을 해 봅니다.
장면: 사용자가 고객센터 봇에 “반품 정책이 뭔가요?”라고 묻자, 조검색이 지식 베이스에서 후보 문단 5개를 건져 옵니다. 각 항목에 점수 세 가지: 벡터 유사도(뜻이 비슷함), 키워드 적중(글자 그대로 맞춤), 신선도(문서가 얼마나 새것인지). 손에 가중치 슬라이더 세 개, 총점 = 세 점수의 가중 평균. 주의: 처음엔 유사도만 무거워서 1위가 사실 2023년 구버전 정책입니다—“신선도” 가중치를 올려 올바른 조항이 어떻게 정상에 오르는지 보세요.
방금 하신 일은 실제 시스템에선 “정밀 랭킹”—퍼널의 마지막 층입니다. 전체 흐름은 이렇게 생겼어요(여기로 스크롤하면 자동 재생):
왜 전부 정밀 랭킹을 안 쓰나요?
비싸요. 정밀 랭킹은 “질문 + 문단” 쌍을 모델에 넣어 한 줄씩 읽습니다. 100만 건을 그렇게 하면 한 시간 기다리고 돈이 타요. 그래서 싼 조검색으로 100만을 먼저 50으로 줄입니다.
왜 전부 조검색만 안 쓰나요?
부정확해요. 조검색은 벡터 거리만 봐서 “현행 정책”과 “구버전 정책”을 구분 못 합니다—방금 직접 보셨죠. 그래서 마지막 50개는 비싼 모델이 한 줄씩 게이트키핑합니다.
검색 결과 정렬
검색 엔진은 먼저 수조 페이지에서 조검색으로 리콜한 뒤, 관련성·권위·신선도로 점수를 매겨 정밀 랭킹합니다—당신이 보는 첫 페이지가 Rerank의 산출물이에요.
추천 피드
숏폼은 먼저 수천 후보를 거칠게 거른 뒤, 정밀 랭킹 모델이 “끝까지 볼까?”를 예측해 한 줄씩 점수를 매깁니다. 홈 피드 순서는 하루에 수십 번 재정렬됩니다.
RAG 검색
오늘의 홈그라운드예요: 벡터 이웃으로 거칠게 건지고, Rerank로 정밀 선별—마지막 몇 개만 귀한 컨텍스트를 차지할 자격이 있어요. 지난 장의 O(n²) 청구서, 기억나죠?
이 강의가 전하고 싶은 것
- AI 시대 정렬의 진짜 모습은 점수 + 재정렬: 겨루는 건 숫자 크기가 아니라 관련성 점수예요
- 가중치가 곧 가치관: 유사도만 보면 옛 자료가 올라오고, 다차원 점수가 있어야 믿을 만해요
- 2단계 퍼널: 조검색은 빠르고 거칠게 오디션, 정밀 랭킹은 비싸지만 정확하게 결승
- 퍼널을 층으로 나누는 건 돈을 아끼는 예술: 검색·추천·RAG 전부 “먼저 건지고 나중에 줄 세우기”예요