很多朋友对于基于Tensorflow和Keras实现Stable Diffusion,实现开箱即用的多GPU推理和不太懂,今天就由小编来为大家分享,希望可以帮助到大家,下面一起来看看吧!
机器之心编辑部
研究人员对稳定扩散的探索永远不会结束。
最近,文本转图像模型Stable Diffusion在AI圈子里火了起来。它是由慕尼黑大学和Runway 的研究人员基于CVPR 2022 论文《High-Resolution Image Synthesis with Latent Diffusion Models》 实施的。它可以在消费级GPU 上运行。
自推出以来,研究人员对稳定扩散进行了更深入的研究。有研究人员将它与Web UI“联结”起来,将两者组合成一个绘图工具,让没有系统学*过UI知识的朋友也能上手。
为了帮助更多人快速入门,一些研究人员整理了一份在Apple M1 芯片上运行Stable Diffusion 的指南。
然而,最初的模型是基于Torch实现的。现在,Meta 研究员Divam Gupta 表示:基于Tensorflow/Keras 的Stable Diffusion 已经到来。
![]()
项目地址:https://github.com/divagupta/stable-diffusion-tensorflow
综上所述,该项目具有三个特点:转换预训练模型;代码很容易理解;并且代码量很小。
Divam Gupta 表示,在8GB M1 MacBook Air 上运行Stable Diffusion 时,其运行速度比Torch 实现快约4 倍。
Keras 创建者Franois Chollet 表示:它可以在M1 MacBoo Pros GPU 上开箱即用,而且还可以开箱即用地进行多GPU 推理。
Chollet 还表示,除了GPU 之外,它还可以开箱即用地进行TPU 推理:只需获取一个TPU VM 并将TPU 策略范围添加到您的代码中即可。这可以在处理大批量时显着加快推理速度并降低成本。
最后,Chollet 表示:“非常感谢Divam Gupta 创建了这个端口。这是一项高质量的工作,将使每个从事创造性人工智能工作的人受益。我总是对开源社区的发展速度感到惊讶。”
![]()
项目介绍
如何运行这个项目?
首先输入这个地址:https://colab.research.google.com/drive/1zVTa4mLeM_w44WaFwl7utTaa6JcaH1zK
运行命令行:
python text2image.py --prompt='骑着马的宇航员'使用python接口:
pip install git+https://github.com/fchollet/stable-diffusion-tensorflowfrom stable_diffusion_tf.stable_diffusion import Text2Imagefrom PIL import Imagegenerator=Text2Image( img_height=512, img_width=512, jit_compile=False,)img=Generator.generate( '一名宇航员骑着horse', num_steps=50, unconditional_guidance_scale=7.5, temperature=1, batch_size=1,)Image.fromarray(img[0]).save('output.png') 可以通过两个简单的步骤完成。输出结果如下: 1 洛可可狼人在着火的咖啡馆里喝咖啡。
![]()
摩天大楼上的粉色和白色蜘蛛侠:
天上的场景:
有兴趣的朋友可以尝试一下。
参考链接:

用户评论
终于有人把 Stable Diffusion 用 TensorFlow 和 Keras 整理了!我一直想玩一下,但代码好像有点复杂。这篇文章简直像救星一样,这下可以轻松上手啦!
有15位网友表示赞同!
这确实很方便,我之前尝试过用 PyTorch 运行 Stable Diffusion ,感觉有点困难,还好找到了这个基于 TensorFlow 的版本,而且官方文档也很清晰详细。
有7位网友表示赞同!
多GPU 推理的思路很棒,终于可以体验一下真正的加速了!虽然我电脑配置一般,但这篇文章给我的启发很大,说不定以后能组建一台专业的 AI 机器。期待下篇文章讲解具体的多 GPU 调优技巧
有12位网友表示赞同!
文章写的不错,把Stable Diffusion 用 Keras 重新实现,确实比较简单易用。虽然我也熟悉 PyTorch,但 TensorFlow 的 API 更加直观易懂,尤其是对于初学者来说更友好。多 gpu 推理的方案也很棒,可以让我更快地生成图像。
有17位网友表示赞同!
这个版本看起来很新颖,希望能尽快尝试一下它的效果,我现在主要想用 Stable Diffusion 生成一些漫画风格的图片,不知道这个版本的稳定性如何?
有9位网友表示赞同!
感觉基于 TensorFlow 实现 Stability AI 的项目越来越多了,这说明 TensorFlow 在深度学*领域越来越受青睐。希望以后能看到更多类似的开源项目,推动 AI 技术的发展。
有18位网友表示赞同!
我一直在关注 Stable Diffusion 的发展,这个 Keras 实现的版本很有潜力。多 GPU 推理能力可以大大提升生成速度, 只是希望能有一些更详细的教程,帮助我们更好地理解和应用它。
有14位网友表示赞同!
我觉得稳定性问题很重要,一个好的开源项目应该不仅易用,而且稳定可靠。希望作者能够继续完善这个开源版本,解决一些潜在的 bug 和性能问题。
有7位网友表示赞同!
多 GPU 推理确实很酷,能明显提升生成速度,我很想试试这个 Keras 版本的效果。如果能支持更高版本的 Stable Diffusion 模型,那更是棒极了!
有14位网友表示赞同!
虽然文章介绍得很详细,但是对于 TensorFlow 新手来说,依然有些困难理解。希望能有更易懂的入门教程,帮助我们更好地掌握 TensorFlow 的基础知识。
有14位网友表示赞同!
我觉得这个基于 Keras 实现的 Stable Diffusion 更适合我这种 TensorFlow 基础比较好的开发者使用,因为 PyTorch 的 API 我不是很熟悉,而 Keras 的写法简洁明了我很喜欢。多 GPU 推理的功能也是非常实用的!
有10位网友表示赞同!
文章很不错,介绍清晰全面,特别是对多GPU推理的讲解让我受益匪浅。 不过对于 Stable Diffusion 本身还是比较陌生,期待作者能提供一些应用案例和使用技巧。
有5位网友表示赞同!
我虽然不太懂代码,但对 Stable Diffusion 的应用场景非常感兴趣。这个基于 Keras 实现的版本看起来很方便,希望以后能看到更多基于 Stable Diffusion 的创意作品!
有19位网友表示赞同!
多GPU 推理的确是个不错的方案,但是文章并没有提到具体的GPU配置要求和调优策略,对于我们想尝试多 GPU 推理的用户来说,这有点遗憾。
有5位网友表示赞同!
"开箱即用" 真是太吸引人了!一直想试一试 Stable Diffusion 但担心复杂的操作,现在这个 Keras 版本看起来十分简单易行。期待下周末能在家轻松玩转深度学*图像生成!
有17位网友表示赞同!
多GPU 推理能大大加快 生成速度, 但文章里没有解释如何设置不同 GPU 的资源分配策略,这对于实际的使用来说还是很重要的。
有11位网友表示赞同!
很高兴看到 TensorFlow 在 AI 图片生成领域也有了如此强大的表现,希望以后可以结合其他技术,实现更有创意和实用性的应用场景。
有14位网友表示赞同!
我一直在关注 Stable Diffusion 的发展,但一直没有找到一个易于上手的版本。这个基于 Keras 实现的多GPU 推理版本让我眼前一亮,终于可以尝试一下自己生成图像了!
有12位网友表示赞同!