切换阅读主题
理解上下文与 Token
使用 AI 时,你可能发现:同样一个问题,在新对话里和长对话里,答案不太一样。理解 Token 和上下文,可以帮助我们更有条理地提供信息。
Token 是模型处理文本的单位
模型通常不会直接把一整句话作为一个不可分割的单位处理。分词器会先把文本拆成 Token,再转换成模型能使用的数字表示。
Token 可能对应一个词、一个词的一部分、标点或其他文本片段。不同模型采用的分词器不同,因此不能把“一个 Token”固定理解成“一个汉字”或“一个英文单词”。
如果需要估算实际长度,应该使用对应模型的分词器或工具,而不是套用一个通用换算比例。
上下文窗口能容纳多少信息
上下文窗口是模型一次处理任务时可使用的 Token 范围。在常见的对话场景里,系统说明、历史消息、工具返回内容和生成内容都可能占用相关额度,具体计算方式取决于模型和服务。
需要区分两件事:系统能够装下多少内容,以及模型能否有效利用其中的每个细节。输入没有超限,也不代表模型一定能准确找到所有信息。
长对话为什么容易跑偏
长对话里可能同时存在旧目标、已修改的条件和暂时的讨论。模型接收到这些信息时,可能没有准确判断哪些才是当前有效要求。
不同产品还可能采用截断、摘要或检索等方式管理历史消息。具体行为应以产品说明为准,不能默认旧对话中的每句话都一直保留。
三个日常整理方法
- 任务变化时重新说明目标。 写清楚这一次要解决的问题,以及哪些旧条件仍然有效。
- 把关键约束集中列出。 与其让模型在几十轮对话中寻找,不如提供一份简短的当前要求。
- 长材料先分块处理。 按章节或主题整理,再汇总每部分已经核对过的结果。
一个可以直接使用的交接格式
text
当前目标:
已经确认的事实:
仍然有效的限制:
需要使用的材料:
接下来只处理的问题:这份交接不仅方便 AI,也能帮助自己在中断之后重新进入任务。