Stable Diffusion手机版(原理分析)

共计 692 个字符,预计需要花费 2 分钟才能阅读完成。

谷歌最新研究中,研究人员成功地在三星手机上运行了 Stable Diffusion 1.4,并实现了令人惊叹的 12 秒生成图像的速度。这项研究通过对 GPU 进行分层优化,大幅减少了内存使用量。这一突破意味着将来一部手机就能够装下一个生成式 AI 模型。

Stable Diffusion 手机版(原理分析)

过去,将大型扩散模型合并到移动设备上一直是一个挑战,由于计算和内存资源的限制,导致输出内容的延迟增加。之前也有研究成功将 Stable Diffusion 部署到设备上,但仅限于特定的设备或芯片组。而这项谷歌的研究提供了一系列的优化方案,使得大型扩散模型能够在配备 GPU 的移动设备上实现迄今为止最快的推理延迟。

具体来说,研究人员对 Stable Diffusion 的各个组件进行了优化,包括文本嵌入器、噪声生成器、去噪神经网络和图像解码器。他们还使用了 GPU 感知优化和群组归一化等技术来提高模型的性能。此外,研究人员还提出了一种优化方案,通过在一个 GPU 命令中执行所有操作,无需中间流程,进一步提高了模型的效率。

为了评估改进后的模型,研究人员在三星 S23 Ultra 和 iPhone 14 Pro Max 上进行了基准测试。结果显示,在启用了所有优化的情况下,模型的推理延迟分别降低了 52.2% 和 32.9%。此外,研究人员还评估了在三星 S23 Ultra 上进行文本到图像输出的端到端延迟,结果显示不到 12 秒就能生成一张 512×512 的图像,创下了业界领先的记录。

这项研究的突破意味着在没有数据连接或云服务器的情况下,用户可以在手机上本地运行生成式人工智能模型,为移动设备上的 AI 应用开辟了更多的可能性。谷歌的最新研究为将大型扩散模型部署到移动设备上提供了全新的解决方案。

正文完