Show HN: Agent Draw: An agent draws while you talk, built on TLDraw
5 days ago
- #AI drawing agent
- #tldraw SDK
- #speech-to-drawing
- Agent Draw 基于 tldraw 的 React 无限画布 SDK 构建，允许 AI 代理在用户呈现内容时在画布上绘图。
- 该工具的工作原理是：捕获画布上的一个矩形区域，通过浏览器麦克风录制语音，使用 Mistral 的 Voxtral 模型将其转录为文本，并将多个绘图任务排队进行顺序处理。
- 实现涉及基于状态机的画布工具、音频录制器、Cloudflare Worker 中的转录路由，以及与 tldraw 官方 Agent 入门套件的集成，以处理绘图逻辑。
- 使用 agent.prompt 而非 agent.request 可确保 AI 一次性完成整个绘图，无需后续回合；同时，移除非必要操作（如 setMyView 和 review）可减少模型调用。
- 系统提示指令引导 AI 以视觉方式解读请求（例如图表、插图），而非逐字转录语音，鼓励其立即开始绘图而不停滞。
- 性能因 AI 模型而异：Claude Opus 4.8 能很好地处理复杂场景，而较小的模型（如 Claude Haiku 4.5）可能生成较简单的构图，较弱的模型（如 Gemini 2.5 Flash Lite）则可能放弃处理。
- 该功能通过 tldraw 的重写 API 添加到其工具栏中，可通过图标和键盘快捷键访问，方便用户交互。
- 许可：代码采用 MIT 许可证，但 tldraw SDK 在公开部署时需要专有许可证密钥；非商业项目可免费获取业余许可证。