Token 是什么?中文、英文与上下文窗口如何计算

搜索并查看你想了解的问题

所有常见问题 / 常见问题

什么是 Token?

Token 是 LLM 处理文本的最小单位。英文大约 4 个字符为 1 个 Token,中文每个字符通常消耗 1–2 个 Token。标点与空格同样计入。

中文与英文的 Token 差异

中文字符密度更高:每个汉字大约 1–2 个 Token,而 1 个英文单词平均约 1.3 个 Token。同一语义下,中文往往更省 Token。

输入与输出费用

大多数服务商对输入和输出分别计费。输出 Token 通常比输入贵 2–4 倍,因为生成比读取更耗计算。预算时请同时计入两端。

上下文窗口

上下文窗口是单次请求能处理的 Token 总数(输入 + 输出)。更大窗口适合长文档,但若跑满窗口,单次调用费用也会更高。

其他热门问题

数 据 驱 动 未 来
Data Drives The Future