Nvidia: Natural Conversational AI with Any Role and Voice
4 months ago
- #AI
- #NVIDIA
- #ConversationalAI
- NVIDIA PersonaPlex是一款全双工会话AI模型，支持自定义语音和角色，同时保持自然的对话动态。
- 该模型能处理打断、附和词和真实的对话节奏，使交互体验极具真人感。
- PersonaPlex采用混合提示架构，结合语音和文本提示来定义对话行为。
- 模型基于Moshi架构构建，拥有70亿参数，采样率为24kHz。
- 训练数据包含来自Fisher英语语料库的真实对话，以及为助理和客服角色生成的合成对话。
- 关键发现包括：预训练基础模型的高效专业化、解耦的语音自然度，以及超越训练领域的涌现泛化能力。
- 在FullDuplexBench和ServiceDuplexBench等基准测试中，PersonaPlex在对话动态、延迟和任务遵循方面优于其他系统。
- 模型代码和权重分别根据MIT许可证和NVIDIA开放模型许可证发布。