Toon – Token Oriented Object Notation
4 months ago
- #data-format
- #LLM
- #efficiency
- TOON（面向令牌的对象表示法）是一种紧凑、人类可读的格式，专为向大语言模型传输结构化数据设计，可显著减少令牌使用量。
- 相比JSON格式，TOON通过消除冗余标点和使用高效的表格数组，通常能减少30%-60%的令牌消耗。
- 核心特性包括：令牌高效性、对大语言模型友好的防护机制、极简语法、基于缩进的结构化方式以及表格数组支持。
- TOON支持多种分隔符（逗号、制表符、竖线）并包含确定性格式化规则以确保一致性。
- 该格式对统一数据结构特别有效，但遇到混合或复杂数据时会回退到列表格式处理。
- TOON已发布为npm包（@byjohann/toon），提供如`encode`等函数用于将JSON转换为TOON格式。
- 通过特殊处理空容器、非JSON数据类型及引用规则等边界情况，确保格式兼容性与传输效率。