Llama2.c64: a port of llama2.c to the Commodore C64
a year ago
- #Commodore64
- #AI
- #Llama2
- Llama2.c64是llama2.c移植到Commodore C64的版本，至少需要2MB REU内存。
- 可运行260K参数的tinystories模型，模拟3岁儿童的讲故事能力。
- 配置步骤包括启用REU、设置2MB内存并加载weights.reu权重文件。
- 命令包含'make build'构建、'make test'测试及'make clean'清理。
- Exomizer工具可选用于实机运行时的程序压缩。
- 优势包括低功耗、本地推理能力和数据安全性。
- 限制在于运行速度慢且无法处理超过8MB的模型。
- 模型预处理使用generate-model-files.py脚本，生成tokenizer.bin、config.bin和weights.reu文件。
- 模型以确定性模式运行（temperature=0.0），支持top-p采样。
- 输出每个标记约需8分钟，首个标记为起始标识符。
- 优化空间有限，大部分时间消耗在矩阵乘法函数。
- 该程序不适合对话场景，但能生成短篇故事。