Litert.js, Google's High Performance Web AI Inference
10 hours ago
- #Performance
- #AI
- #Web Development
- LiteRT.js 是 LiteRT 的 JavaScript 绑定，用于在 Web 浏览器中直接运行 AI 模型，支持本地、设备端推理，从而增强隐私性、实现零服务器成本以及超低延迟。
- 通过利用 WebAssembly 和硬件加速（包括 CPU 端的 XNNPACK、GPU 端的 ML Drift，以及 NPU 端的 WebNN），它在性能上超越了之前如 TensorFlow.js 等解决方案。
- 其关键特性包括：通过 LiteRT Torch 进行 PyTorch 模型转换、通过 AI Edge Quantizer 进行针对性量化以获得模型尺寸和性能提升，并支持多种硬件后端（CPU、GPU、NPU）。
- 基准测试显示，在 CPU 和 GPU 上，LiteRT.js 的性能比其它 Web 运行时快达 3 倍；借助 GPU/NPU 加速，在物体跟踪和音频处理等实时应用中可实现 5 至 60 倍的速度提升。
- 演示实现包括：从网络摄像头视频流中实时生成 3D 点云的 Depth Anything，以及可实现 4 倍图像超分的 Real-ESRGAN，并官方支持导出 Ultralytics YOLO 模型。
- 其集成过程简单，提供了简洁的 JavaScript API 用于加载、编译和运行 .tflite 模型，未来的开发重点将集中在 WebNN 集成和生成式 AI 支持上。