Ollaya – Ollama for open-source, Jev-style decision models
3 hours ago
- 在您自己的硬件上使用私密的开源软件本地运行决策模型。
- 通过单次前向传递在毫秒内获得校准的答案，无需逐token生成。
- 与TypeSafe的API兼容，可直接替换，使用官方SDK无需更改。
- 支持多个开放决策模型：Laya、Decider、NLI和GLIClass。
- 数据保持私密，无逐token费用，可在CPU或NVIDIA GPU上运行。
- 可在macOS、Windows、Linux和Docker上使用；在NVIDIA上支持GPU加速。
- 校准的概率，低校准误差（例如，Laya ECE 0.081）。