- TokenTown 将 Transformer 语言模型可视化为一座等距城市，每次处理一个令牌。
- 城市包含代表模型阶段的区域：分词、嵌入、位置编码、注意力机制、前馈网络和采样。
- 该模型在浏览器中实时运行，包含真正的组件如因果掩码、KV缓存、GELU激活函数以及温度/Top-p采样。
- 模型规模缩小至12维、2个注意力头、2–12层，词汇表仅几百个词。
- 权重随机生成，因此输出结合了二元语法先验，注意力通过偏置增强以提高可读性。
- 在慢速游览中，每个区域暂停9–26秒显示解释；之后城市运行加速，重复层会快进。
- 控制包括空格键（暂停）、S键（单步）、速度滑块（0.4倍–8倍）、重置（重播游览）或运行（跳过重读继续）。
- 该项目受PGSimCity启发，使用原创代码、美术和文案。