TeapotLLM- an open-source <1B model for hallucination-resistant Q&A on a CPU
a year ago
- #NLP
- #AI
- #OpenSource
- Teapot是一个开源的小型语言模型（约8亿参数），专为智能手机和CPU等资源受限设备优化。
- 该模型基于合成数据进行微调以减少幻觉生成，并专注于提供基于上下文的回答。
- Teapot支持问答系统（QnA）、检索增强生成（RAG）和JSON提取等任务。
- 模型经过训练可提供对话式回答，并通过在缺乏足够上下文时拒绝回答来避免幻觉。
- Teapot能跨多文档执行RAG，并以JSON等格式提取结构化信息。
- 内置teapotai库便于生产环境集成。
- 该模型基于flan-t5-large微调，训练数据集为约10MB的合成数据。
- 采用MIT开源协议，社区驱动开发，可通过Discord获取支持。