Show HN: Calculate confidence score for OpenAI JSON output
a year ago
- #OpenAI
- #Confidence-Scoring
- #JSON
- 为OpenAI JSON输出计算细粒度字段级置信度分数
- 支持具备logprobs功能和结构化JSON输出的OpenAI模型（如gpt-3.5-turbo、gpt-4）
- 可轻松集成OpenAI的completion和chat端点
- 轻量级包，置信度计算逻辑零依赖
- 示例用法：通过npm安装（@promptrepo/score和openai包）
- 配置API调用时需启用response_format和logprobs参数
- 解析JSON输出并为每个字段计算置信度分数
- 支持嵌套JSON结构，提供细粒度置信度评分