分词器
也叫：Tokenizer · Tokenization · 文本分词
分词器按模型使用的词表与编码拆分输入，同一段文字在不同模型中的 Token 数量可能不同。
他们说
按模型词表与编码规则把输入转换为 token ID 序列
老白翻译
把文字和标点拆成模型能读的一串编号。
它到底是什么
分词器把文字、空格和标点等输入拆成 Token，再转换成模型处理的编号。不同模型使用的词表和编码规则不同，拆分结果也可能不同。
生活里的例子
同一份中文合同交给两个模型，汉字数完全一样，Token 数却可能有差别。更换模型以后，需要按新模型重新计算上下文和费用。
常见误解
- 误解：一个汉字固定等于一个 Token。 常见词语可能合在一起，少见字符和混排内容也可能拆得更细。
- 误解：数完正文就得到完整请求用量。 系统提示词、工具说明、图片和文件也会占输入。
- 误解：旧模型的计数可以一直沿用。 模型或编码变化以后，同一文本的拆分可能改变。
普通人怎么用
用目标模型的计数接口处理完整请求，发送前拦住超长输入，生成后再保存响应里的实际 Token 用量。