Cloning your Discord friends with Large Language Models
2 days ago
- 该项目使用RTX 3090在Discord聊天数据上训练了Mistral 7b模型，取得了幽默但实际价值有限的结果。
- 数据通过过滤低质量消息、单次@消息、无回复内容及会话终结项进行清洗，随后采用sharegpt格式转化为JSONL，用于Axolotl框架的训练。
- 训练耗时6小时，历经10个轮次，生成的低秩适配模型（LoRA）被导入oobabooga，用以创建能够模仿朋友们聊天风格的Discord机器人。