- Agent Draw 基于 tldraw 的 React 无限画布 SDK 构建,允许 AI 代理在用户呈现内容时在画布上绘图。
- 该工具的工作原理是:捕获画布上的一个矩形区域,通过浏览器麦克风录制语音,使用 Mistral 的 Voxtral 模型将其转录为文本,并将多个绘图任务排队进行顺序处理。
- 实现涉及基于状态机的画布工具、音频录制器、Cloudflare Worker 中的转录路由,以及与 tldraw 官方 Agent 入门套件的集成,以处理绘图逻辑。
- 使用 agent.prompt 而非 agent.request 可确保 AI 一次性完成整个绘图,无需后续回合;同时,移除非必要操作(如 setMyView 和 review)可减少模型调用。