텍스트 보완에서 대화까지
대형 언어 모델의 본질은 텍스트 보완입니다 —
그렇다면 가짜 채팅 기록을 만들어 보완하게 하면 어떨까요?
토큰 하나씩 이어 붙이는 게 전부라면,
이런 형식을 만들어 보겠습니다: 「미완성 채팅 기록이 있습니다. 어시스턴트 부분을 채워주세요.」
1단계
「가짜 채팅 기록」을 조립합니다:
사용자가 무엇을 보냈는지 작성하고, 어시스턴트 칸은 의도적으로 비워둡니다
사용자가 무엇을 보냈는지 작성하고, 어시스턴트 칸은 의도적으로 비워둡니다
1라운드: 모델은 무엇을 보고, 무엇을 완성했나요?
사용자: 쯔샤 선녀(紫霞仙子)는 누구인가요? (중국 고전 영화 《대화서유》의 등장인물)
어시스턴트:
어시스턴트:
↓ 모델이 「어시스턴트:」 뒤부터 보완을 시작합니다
어시스턴트 보완 결과:
2단계
전체 텍스트를 Base 모델에 입력하면,
모델은 딱 한 가지만 합니다: 끝에서부터 보완
모델은 딱 한 가지만 합니다: 끝에서부터 보완
3단계
사용자가 다음 메시지를 보내면, 「이전 답변 + 새 질문」을
더 긴 미완성 텍스트로 이어 붙여 다시 모델에 전달합니다
더 긴 미완성 텍스트로 이어 붙여 다시 모델에 전달합니다
2라운드: 사용자가 다시 말하고, 1라운드 답변을 이어붙여 전송
어시스턴트 보완 결과:
와, 대형 언어 모델이 진짜 제대로 완성해냈네요!!!