stablediffusion训练embedding的模型

共计 1018 个字符,预计需要花费 3 分钟才能阅读完成。

stablediffusion 训练 embedding 的模型

在 AI 领域中,Textual Inversion(文本倒置)或称为 Embedding(嵌入)是一种适合让 AI 学习新概念或物体的方法。相比于 HyperNetwork,Textual Inversion 的学习能力较差。在这方面,Stable Diffusion 中文网的基础模型 Waifu Diffusion 1.4 是一个比较适合训练 Embedding 的选择。

操作过程

  1. 启动 SD WebUI
  2. 切换至 Train 页面,在 Create embedding 输入名字。Number of vectors per token 设置为 7 以上。点击 Create embedding。
  3. 切换至 Train 页面,选择刚刚创建的 embedding,于 Dataset directory 输入训练数据的路径。
  4. Prompt template file 选 style_filewords.txt。Mx Step 设置训练至 10000 步停止。当然你也可以调高一点,并看预览图决定品质差不多之后才按 Interrupt 中止训练,具体步数视情况而定。
  5. 点击 Train Embedding,开始训练。
  6. SD WebUI 应会显示剩余时间,通常是一小时起跳,每 500 步会在右边显示训练该步数的成果。
  7. 你也可以到 SD WebUI 根目录下的 texual_inversions 查看训练成果。里面 image_embeddings 目录会存放训练步数对应的成果。
  8. 待训练完成后,至 SD WebUI 根目录下的 texual_inversions/embeddings,对照 image_embeddings 目录的图片挑选合适的成品。
  9. 例如觉得 9500 步的成果不错,那就将该 pt 档从里面挑出,将其放到 SD WebUI 程序目录下的 embeddings。

Embedding 模型使用方式

  1. 在 SD WebUI 的生图界面,点击右上角的 Show Extra Networks。
  2. 选择要使用的 embedding,点击将其加入提示词字段。注意,Embedding 只能与训练时使用的模型配合使用。
  3. 按照 Embedding 训练时使用的提示词下提示词,生成的图像将会包含该 Embedding 的人物。

总结

Textual Inversion 是一种让 AI 学习新概念的方法,适用于 Stable Diffusion 中文网的基础模型 Waifu Diffusion 1.4。通过训练 Embedding 模型,并配合训练时使用的模型,可以生成包含特定概念或物体的图像。这种方法可以用于创造各种新颖的图像,拓展 AI 的学习能力和创造力。

正文完