Generating Images with a 2025 Android
12 days ago
- #Machine Learning Porting
- #Android Image Generation
- #NPU Optimization
- 成功使用手机Hexagon NPU上的PrismML Bonsai图像模型，在三星Galaxy S25+上生成了图像。
- 由于机器学习栈不成熟、缺乏Core ML/MLX等成熟等效方案，以及硬件差异需要针对CPU、GPU或NPU进行优化，Android端口的开发比iOS更困难。
- 基于stable-diffusion.cpp分叉的CPU基准测试速度较慢（每张512×512图像耗时8-9分钟），因此尝试探索GPU（仅限于256×256）和NPU以提升性能。
- NPU实现克服了权重扩展、fp16溢出和SDK问题等挑战，生成512×512图像约需2分钟（提示词编码20秒，NPU去噪65秒，解码45秒）。
- 由于混合精度（fp16及更低精度整数）影响精细细节，NPU生成的图像比iPhone版本更柔和，且可部署的模型包更大（10.7 GB对比3.7 GB）。
- 由于应用与NPU通信存在问题，该项目未实现完全可操作的Android应用，但为未来工作提供了有用起点，并存在文本编码器和VAE的优化潜力。