一个有意思的问题
明明是「聊天」，
为什么叫「补全」？
为什么叫「补全」？
两家公司，两个截然不同的命名——背后藏着对大模型本质的不同理解。
OpenAI
/chat/completions
聊天 / 补全
Anthropic
/v1/messages
正儿八经的消息
OpenAI 的隐含逻辑
大模型的本质是补全——给它一段文字，它接着往下写。
聊天，不过是把对话格式化成「待补全的文本」，
本质还是在做 Token 补全。
聊天，不过是把对话格式化成「待补全的文本」，
本质还是在做 Token 补全。
PM 需要懂的关键点
你传给大模型的每一条消息，都会被拼成一段文本，
然后模型从这段文本的末尾开始继续生成。
对话只是人类为了方便而加的外壳。
然后模型从这段文本的末尾开始继续生成。
对话只是人类为了方便而加的外壳。
从补全视角看一次对话
模型实际「看到」的内容（拼接后的文本）
[system] 你是一个有帮助的助手。
[user] 紫霞仙子是谁？
[assistant]
[user] 紫霞仙子是谁？
[assistant]
模型做的事
从 [assistant] 标记之后，预测下一个概率最高的 Token，一直到生成终止符
chat 是假象
你以为在「对话」，模型只是在「把这段文本补全完整」——这就是 completions 的真相
为什么 PM 要知道
System Prompt、上下文、历史消息全部拼在一起送给模型——Token 数量就是成本和质量的关键
OpenAI 的设计决策
这个「望文生义」的命名，
影响了全世界。
影响了全世界。
GPT +
/chat/completions 这套范式，率先引爆了市场全球开发者、框架、工具链全部对齐这套接口设计
理解「对话 = 补全」，是读懂所有 AI 工程化的起点