Domain Adaptation of Base Models + ShadowdarkQA Bench
a year ago
- #Shadowdark
- #LLM
- #TTRPG
- 开发自主LLM游戏大师的两种方法：快速（代理式）与慢速（亲身体验式）。
- 目标在于理解模型能力并获得实践经验，而不仅仅是最终产品。
- 从基础模型入手，融入TTRPG特定先验知识以提升规则理解能力。
- 受算力限制选择千问3系列小模型（0.6B至14B参数规模）。
- 选择Shadowdark而非DND因其规则简单、无知识负担且易验证。
- 通过OCR技术将Shadowdark规则书转为结构化Markdown训练数据。
- 构建Shadowdark QA测试集，含法术机制/玩家角色/怪物等分类。
- 评估采用关键词匹配机制实现规则回忆的精准评分。
- 源书初始训练提升效果但数值回忆表现欠佳。
- 知识增强（10倍重述）使QA基准准确率提升至66.6%。
- 下一步：助手调优以突破70%准确率门槛。