Tinker by Thinking Machines
8 months ago
- #research
- #api
- #machine-learning
- Tinker是一个专为研究人员设计的训练API，提供对模型训练和微调的控制，同时管理底层基础设施。
- 核心功能包括：forward_backward（执行前向和反向传播）、optim_step（更新权重）、sample（生成文本标记）和save_state（保存训练进度）。
- 采用LoRA技术进行高效微调，通过训练小型附加模块而非修改全部原始权重，以更低计算量达到全参数微调的效果。
- 自动处理调度调优、资源管理和基础设施可靠性，支持GPU集群的分布式训练编排。
- 支持从紧凑型到大型的各种开源模型，并计划持续扩展可选模型范围。
- 允许在训练期间及完成后下载模型权重。
- 初期免费提供服务，即将推出基于使用量的计费模式。