ThinkMesh: A Python lib for parallel thinking in LLMs
9 months ago
- #Python
- #LLM
- #Parallel Reasoning
- ThinkMesh 是一个用于并行推理的 Python 库，支持置信度门控和预算重分配功能。
- 支持离线 Hugging Face Transformers 和 vLLM/TGI，以及托管 API（如 OpenAI 和 Anthropic）。
- 功能包括异步执行、归约器（多数表决/裁判机制）、可插拔验证器、缓存和 JSON 追踪。
- 当前处于早期开发阶段，可能存在破坏性变更。
- 通过 `pip install -e ".[dev,transformers]"` 安装，并克隆 GitHub 仓库。
- 可通过 `ThinkConfig` 配置模型、策略、归约器和预算参数。
- 支持 DeepConf、自洽性校验、辩论式和树状推理等策略。
- 可输出 JSON 追踪日志、Prometheus 指标和 OpenTelemetry 跨度数据。
- 采用 MIT 许可证，鼓励在学术研究中引用本项目。