The STT-LLM-TTS voice stack is dead
16 hours ago
- 作者在未找到现有解决方案后，构建了call4me——一款代表用户拨打电话的托管语音助手。
- 该系统通过使用GPT-Live实现直接语音到语音转换，避免了传统的级联式STT-LLM-TTS架构，从而降低延迟并保留语调信息。
- 拨号前，智能体会收集所有必要信息（个人资料字段及每次通话需求），以避免通话过程中出现意外。
- 一个“后台”文本模型负责处理决策和工具（如按键操作、向用户提问等），而语音模型则专注于对话本身。
- 系统包含处理电话菜单（键盘输入、国际电话的音频提示音）的机制，并能从死胡同中恢复。
- 该系统运行在Cloudflare上，借助Workers、Durable Objects以及Telnyx实现电话功能。由于GPT-Live和电话线路均使用G.711 μ-law编码，音频路径无需转码，因此非常简单。
- 关键经验：避免音频转码、将语音与决策分离、验证模型行为，以及在拨号前收集所有信息。