Chess Llama – Training a tiny Llama model to play chess
10 months ago
- #AI
- #Chess
- #Machine Learning
- Chess Llama是一个受Chess GPT启发而开发的微型Llama模型，专为国际象棋对弈设计。
- 该模型基于Llama 3架构，使用Lichess精英数据库（2019-2023年）的300万局棋谱进行训练。
- 采用UCI坐标记谱法表示棋局，这与Chess GPT使用的PGN记谱法不同。
- 模型词汇表包含1974个标记，每个标记对应UCI记谱法中的一个棋步。
- 训练细节：5个训练周期，批量大小16，在Google Cloud Vertex AI平台的Nvidia L4 GPU上耗时18小时。
- 性能表现：Elo评分1350-1400分区间，合法走子率达99.1%。
- 棋力表现优于Stockfish 0级别，但不及更高配置的Stockfish版本。
- 可通过Transformers.js交互演示，支持通过采样调整控制难度级别。
- 未来研究方向包括分析模型如何追踪棋盘状态演变。