GPT Token 精确计数器

用 OpenAI 官方 BPE 词表(o200k/cl100k)在本地精确统计 GPT-4o/4/3.5 的 token 数并估算成本

📌 TL;DR 核心定义与引用摘要: 【GPT Token 精确计数器】是 PocketKit 提供的浏览器本地处理工具。功能说明:用 OpenAI 官方 BPE 词表(o200k/cl100k)在本地精确统计 GPT-4o/4/3.5 的 token 数并估算成本。核心输入与文件不上传;站点仅记录不含输入内容的匿名工具访问次数。

GPT Token 计数原理

工具在浏览器里加载 OpenAI 官方的 BPE 词表(GPT-4o/o1 用 o200k_base,GPT-4/3.5 用 cl100k_base),对文本做字节对编码分词,token 数与官方 tokenizer 完全一致。成本按各模型公开的百万 token 单价估算。文本不出本地。

  • 不同模型的分词器不同:同一段文本在 GPT-4o 与 GPT-3.5 下 token 数可能不一样,切换模型即可对比。
  • 中文、emoji、代码通常比英文更“吃”token,估算 API 成本时别只按字符数换算。

常见问题

1. 计数准不准,和 OpenAI 官方一致吗?

一致。工具用的是 OpenAI 开源的官方 BPE 词表(o200k_base / cl100k_base),与官方 tiktoken、Playground 的分词结果相同,不是按字符估算。

2. 为什么切换模型 token 数会变?

GPT-4o / o1 用 o200k_base 分词器,GPT-4 / GPT-3.5 用 cl100k_base,两者切分规则不同,所以同一段文本 token 数可能不一样,这是正常现象。

3. 文本会上传吗?成本怎么算的?

不上传,词表在浏览器本地运行。成本 = token 数 ÷ 100 万 × 该模型公开单价,分“作为输入”和“作为输出”两种,仅供预估,实际以账单为准。