Show HN: PILF, The ultimate solution to catastrophic oblivion on AI models
a year ago
- #adaptive learning
- #hyperparameter optimization
- #machine learning
- PILF是一个认知学习框架，通过数据'意外性'将固定超参数转化为动态策略
- 它能实时动态调整学习率和模型容量，用数据驱动策略取代静态超参数
- PILR-S专注于基于'意外性'动态调节学习率，采用高斯函数进行调制
- PILF将其扩展到混合专家架构，动态决定激活的专家数量和学习率
- 该框架旨在统一学习、忽略和拒绝机制，提升效率并缓解灾难性遗忘
- 实验采用轻量级Vision Transformers，在CIFAR-10和MNIST等数据集上比较不同变体
- 项目为开源软件，采用AGPLv3协议，核心计算需要PyTorch和sigma-pi包