Labs · Token 计数器
这段文字,
到底值多少 token?
贴一段文字实时称重,或者把角色卡拖进来逐字段拆开:哪些每轮都计费、哪些只出现一次、哪些命中关键词才注入、 哪些根本不进 prompt——配 2k / 4k / 8k 窗口预算参照条,和按模型家族的差异区间。全程在你的浏览器里算。
计数在浏览器本地完成——文字和卡文件不上传、不留存,页面加载完断网也能用。
计数结果会出现在这里——贴字就算。
口径固定:CJK ≈ 1.6 字/token、其它 ≈ 4 字符/token——全站工具(角色卡体检器、上下文透视镜、缓存计算器)同一把尺,跨工具数字可以直接对。
一张角色卡到底多少 token?
社区常见卡的常驻部分(描述+性格+场景)在 400–1,500 tokens,重型卡能超过 4,000——那意味着 8K 窗口的模型每一轮请求都要花一半以上的预算重读人设。有用的问题不是总数,是拆分:常驻字段每轮计费、 开场白只计一次、关键词世界书命中才计、作者备注永远不计。把卡拖进上面的工具,这张拆分表当场出。
这把尺从哪来,又在哪弯
估算口径来自 DeepSeek 官方文档(约 0.6 token/汉字、0.3 token/英文字符),和本站所有工具同一把尺——体检器、上下文透视镜、缓存计算器之间的数字可以直接互对。但分词器是按家族分的:同一段中文在 GPT 老词表(cl100k 时代)上可能比 DeepSeek 贵 2–3 倍。所以家族表给的是区间,不是第二个假精确数字。 「精确模式」是唯一的例外:OpenAI 公开了 o200k_base 词表(GPT-4o 之后各代),我们把它整个搬进浏览器逐 token 复算,边界当场染色可查。其它家族没有公开分词器——区间回答的是「最多差多少」,不是「账单是多少」。
常见问题
这是真分词器吗?
分两档。默认档是字符占比估算:中文约 1.6 字/token、英文约 4 字符/token——DeepSeek 官方文档给的口径,全站工具同一把尺。切到「精确模式」后,对 OpenAI 系是真分词器:o200k_base 词表是公开的(GPT-4o 之后各代),浏览器本地逐 token 复算、边界直接染色给你看,词表约 2.3MB 首次用时才下载。DeepSeek / Claude / Gemini 没有公开分词器——那些家族仍然只有估算加经验区间,这是能力边界,页面不装。
我的文字和卡会被上传吗?
不会。计数和卡解析全部在你的浏览器里完成——文字不离开输入框,卡文件用浏览器自带能力本地解码。页面加载完断网也能照常用。
为什么别的工具算出来的数不一样?
三个常见原因:它跑的是另一个分词器(家族间差两三成,中文文本差得更多);它算的字段不一样(有的工具把作者备注也加进去,但那个字段根本不进 prompt);它对世界书的算法不一样(常驻条目每轮计费、关键词条目命中才计)。本工具把这三件事全部拆开单列,而且和本站角色卡体检器用同一把尺——站内工具之间的数字可以直接对。
角色卡里哪些部分算「常驻 token」?
每一轮请求都要原样重发的那些:description、personality、scenario、system_prompt、post_history_instructions,以及世界书的 constant 条目。开场白只出现一次(但一直躺在历史底部);示例对话在上下文吃紧时最先被丢;creator_notes 压根不进 prompt。字段表给每一行都标了计费身份。
一个 token 等于几个字?
本页用的口径:中文约 1.6 字/token,英文约 4 字符/token。反过来算,100 token 大约是 160 个汉字,或 400 个英文字符(七十来个单词);同样 1500 字的文本,中文要 ~900 token,英文只要 ~375。这个不对称就是同一张双语卡翻译后重量能翻倍的原因——也是本页所有数字都给「家族区间」而不是给一个假精确值的原因。