跳转到正文
全部笔记/基础认知

理解上下文与 Token ​

使用 AI 时,你可能发现:同样一个问题,在新对话里和长对话里,答案不太一样。理解 Token 和上下文,可以帮助我们更有条理地提供信息。

Token 是模型处理文本的单位 ​

模型通常不会直接把一整句话作为一个不可分割的单位处理。分词器会先把文本拆成 Token,再转换成模型能使用的数字表示。

Token 可能对应一个词、一个词的一部分、标点或其他文本片段。不同模型采用的分词器不同,因此不能把“一个 Token”固定理解成“一个汉字”或“一个英文单词”。

如果需要估算实际长度,应该使用对应模型的分词器或工具,而不是套用一个通用换算比例。

上下文窗口能容纳多少信息 ​

上下文窗口是模型一次处理任务时可使用的 Token 范围。在常见的对话场景里,系统说明、历史消息、工具返回内容和生成内容都可能占用相关额度,具体计算方式取决于模型和服务。

需要区分两件事:系统能够装下多少内容,以及模型能否有效利用其中的每个细节。输入没有超限,也不代表模型一定能准确找到所有信息。

长对话为什么容易跑偏 ​

长对话里可能同时存在旧目标、已修改的条件和暂时的讨论。模型接收到这些信息时,可能没有准确判断哪些才是当前有效要求。

不同产品还可能采用截断、摘要或检索等方式管理历史消息。具体行为应以产品说明为准,不能默认旧对话中的每句话都一直保留。

三个日常整理方法 ​

  1. 任务变化时重新说明目标。 写清楚这一次要解决的问题,以及哪些旧条件仍然有效。
  2. 把关键约束集中列出。 与其让模型在几十轮对话中寻找,不如提供一份简短的当前要求。
  3. 长材料先分块处理。 按章节或主题整理,再汇总每部分已经核对过的结果。

一个可以直接使用的交接格式 ​

text
当前目标:
已经确认的事实:
仍然有效的限制:
需要使用的材料:
接下来只处理的问题:

这份交接不仅方便 AI,也能帮助自己在中断之后重新进入任务。

继续阅读 ​

✳

理解一点,记录一点。
愿这份手记,也成为你探索 AI 的一个起点。

继续翻阅笔记 ↗