Text-to-LoRA: Hypernetwork that generates task-specific LLM adapters (LoRAs)
a year ago
- #lora
- #machine-learning
- #text-to-lora
- 安装`uv`进行依赖管理，并按照安装指南操作。
- 克隆`text-to-lora`代码库，使用`uv`配置环境。
- 安装特定依赖项，包括用于flash attention的自定义wheel包。
- 通过Hugging Face CLI下载训练好的T2L模型。
- 在本地运行Web UI演示（使用Mistral-7B-Instruct-v0.2和T2L）。
- 通过CLI从任务描述生成LoRA，支持Llama-3.1-8B、Gemma-2-2b等模型。
- 使用脚本评估生成的LoRA，支持通过`watcher.py`进行异步验证。
- 训练T2L模型和任务适配器（oracle adapters），需大量GPU资源。
- T2L的重建训练涉及预热、学习率调整和特定配置。
- 性能对比显示T2L在多个模型和任务中优于基线方法。
- 注意事项：vLLM与LoRA结合时存在非确定性行为，数据集缓存可能存在问题。