Generate fonts where every LLM token is the same width
9 hours ago
- Token-space字体编译器创建了一种每个token具有等宽的字体，将字体与分词器结合起来。
- 用户可以编译自定义字体用于Discord（通过Vesktop）或Slack，需要安装字体以及一个主题或用户脚本。
- 该字体支持带有特定预分词器的字节级BPE，并输出一个将分词器内置到字形规则中的单个TTF文件。
- 已知的差异包括与GLM-5.3和LLaMa 3 token的问题、不支持的分词器流水线，以及诸如规范化和复杂脚本的渲染限制。
- 该项目是实验性的，对准确性（尤其是精确token计数）有警告，并鼓励专家级实施。