Show HN: Chonky – a neural approach for text semantic chunking
a year ago
- #Text Processing
- #Python
- #NLP
- Chonky 是一个基于Transformer模型的Python语义文本分割库。
- 它在RAG（检索增强生成）系统中非常实用。
- 通过pip即可轻松安装：`pip install chonky`。
- 使用时需初始化`TextSplitter`，将文本处理为有意义的片段。
- 首次运行时会自动下载Transformer模型。
- 示例展示了如何将样本文本按'--'分隔符分割成片段。