格式选型与词元效率

Format Choice and Token Efficiency

PE-S-04内容已写满G01确定性输出第 9 层

01为什么需要它

同一份信息换一种承载格式，输出 token 数可以相差两三成：JSON 的引号、括号与逐条重复的字段名最贵，CSV 与 TSV 最省却要处理转义，YAML 靠缩进表达层级而模型对缩进的容错并不好。

• 输出 token 的单价通常高于输入，长列表与批量任务会把这层差异放大成真实账单。
• 所以格式选型首先是成本与稳定性的工程决策，不是排版偏好。

02机制说明

格式选型的机制可以拆成三件事。

• 其一是冗余度：JSON 用引号、括号与逐条重复的字段名换取自描述，Markdown 表与 CSV 用一行表头，TSV 只用一个制表符，同一批数据从 JSON 换到 TSV 常常省下两三成 token，代价是值里出现分隔符时必须有转义约定。
• 其二是模型熟悉度：格式在训练分布里的常见程度决定模型一次写对的概率，越冷僻的格式越容易在长输出里漂移。
• 其三是解析路径与缓存：下游要机器解析时，结构合法性应交给 schema 而不是自然语言描述；而格式一旦改动，缓存前缀随即失效，输入侧成本会反向上升。
• 选型因此按三条判据落地——下游是否机器解析、模型对该格式是否熟悉、以及该格式能否与缓存前缀长期共存；三个判据都过之后再比 token 数，顺序颠倒会把省下的 token 换成解析失败。

03何时该用 / 何时不该用

04实验台

1. shellbash

   查看代码

   # 同一批 50 条记录，分别序列化成紧凑 JSON / 逐行 JSON / TSV，逐一量 token
   python3 - <<'PY'
   import json
   try:
       import tiktoken
       enc = tiktoken.get_encoding("o200k_base")
       n = lambda s: len(enc.encode(s))
   except ImportError:
       n = len  # 未装 tiktoken 时退化为字符数，只看相对差距
   rows = [{"id": i, "name": f"item-{i}", "qty": i % 7, "note": "n/a"} for i in range(50)]
   compact = json.dumps(rows, ensure_ascii=False, separators=(",", ":"))
   lines = "\n".join(json.dumps(r, ensure_ascii=False, separators=(",", ":")) for r in rows)
   tsv = "id\tname\tqty\tnote\n" + "\n".join(f"{r['id']}\t{r['name']}\t{r['qty']}\t{r['note']}" for r in rows)
   for k, v in [("compact-json", compact), ("lines-json", lines), ("tsv", tsv)]:
       print(k, n(v))
   PY

   预期观察：紧凑 JSON 与 TSV 的 token 数差距通常落在两成到五成的区间；逐行 JSON 因每行重复字段名而比紧凑 JSON 贵，换来的是可逐条流式解析与部分成功。换一批自己的真实数据重跑，差距会随字段名长度与值的分布变化。

2. filemarkdown

   查看代码

   选型记录表：每个候选格式一行，逐列填实测值
     格式 | 实测 token（同一批数据） | 下游解析器 | 解析失败率 | 长输出的格式走样率 | 是否破坏缓存前缀
   判据：token 最省的一行只有在该格式的失败率与走样率都可接受时才可选用；
   若最省格式的失败率明显更高，就退回次省格式，并把差额记进成本预算。

   预期观察：读者能拿出「token 数 × 解析失败率」并排的记录再下结论，而不是只报一个更小的 token 数；结论可被他人按同一张表复核。

05证据

06术语

07失效模式

• 把 JSON 当默认输出格式引号、括号与逐条重复的字段名在长列表里最贵，账单上涨而信息量不变。
• 为省 token 手搓短标记格式下游解析器跟不上或值里带分隔符，省下的 token 变成解析失败与重试。
• 用 YAML 缩进承载层级模型在长输出里容易缩进错位，解析器直接报错，输出越长越容易崩。
• 改格式时顺手动了缓存前缀前缀里任何字符变化都会让它失效，输入侧成本上升把输出侧的节省吃掉。

08在本站知识结构中的位置

所属分组

G01确定性输出

依赖深度

第 9 层（同层节点彼此无先后约束）

在 交互全景图 中定位本节点。