Show HN: langdiff – Stream valid JSON from LLMs with type-safe callbacks
9 months ago
- #Python
- #LLM
- #Streaming
- LangDiff 是一个 Python 库，用于将结构化的 LLM 输出流式传输到前端，并支持智能部分解析。
- 它提供类型安全的回调函数（on_append、on_update、on_complete），在令牌流式传入时触发。
- 支持 Pydantic 风格的模型定义模式，并能与 OpenAI SDK 等现有库无缝协作。
- 自动生成 JSON Patch 差异以实现高效的前端同步。
- 支持构建响应式 AI 应用，同时允许后端和前端独立演进。
- 包含无需更改代码模式即可跟踪变更、处理不完整 JSON 令牌等特性。
- 示例用例：流式传输多章节文章并支持渐进式更新。
- 采用 Apache-2.0 许可证，提供可运行的示例文件 example.py。