Token 计数器
免费在线 Token 计数器,免安装。计算 OpenAI 模型的 Token 数量,估算 API 成本
什么是 Token 计数?
Token 是 GPT-4、GPT-3.5 等 AI 模型处理文本的基本单位。在英文中,一个 Token 大约对应 4 个字符,或约 ¾ 个单词。不同的模型使用不同的分词器——例如,GPT-4o 使用 o200k_base 编码,而 GPT-4 使用 cl100k_base。了解提示词的 Token 数量有助于控制模型上下文限制并估算 API 调用成本。
如何使用 Token 计数器
1. 选择与目标模型匹配的编码(例如,GPT-4 使用 cl100k_base)。 2. 在输入框中输入或粘贴提示词文本。 3. Token 数量会在输入时实时更新。 4. 工具还会显示字符数、词数和行数作为参考。
▶应该选择哪个编码?
GPT-4o 和 GPT-4o-mini 使用 o200k_base。GPT-4、GPT-4-turbo 和 GPT-3.5-turbo 使用 cl100k_base。旧版 Davinci 模型使用 p50k_base。GPT-2 及更早的模型使用 r50k_base。
▶Token 计数准确吗?
本工具使用与 OpenAI API 相同的 BPE(字节对编码)分词器,因此计数是精确的。但实际 API 调用时,消息格式(角色标签、分隔符等)可能会额外增加几个 Token。
▶工具会把我的文本发送到服务器吗?
不会。所有分词计算都在浏览器中完成,使用 JavaScript 实现的分词器。您的文本不会离开您的设备。
▶可以计算 Claude 或其他模型的 Token 吗?
本工具目前仅支持 OpenAI 模型的分词器。其他模型(Claude、Gemini、Llama)使用不同的分词器,请查看相应提供商的文档或专用工具。
如果这个工具帮到了你,可以请作者喝杯咖啡。
请我喝杯咖啡