【已解决】AI画图embedding训练不出来，有没有同专业的求教

crazy95sun

省流：成了，关掉VAE（把model.vae.pt重命名成别的名字，重启）就能正常训练了

楼下分享一下结果（如果违规请版主单独删除，求不要干掉整个帖子）

目前为止用Novel AI泄漏模型+stable diffusion webui完全没法训练出可用的embedding。采用的D站上Furry Sheep介绍的方法，使用gelbooru资源训练textual inversion。目前配置如下

训练集是189张gelbooru爬下来的quad风格图，文件名是tag，使用预处理工具切成了512x512的标准大小，带左右翻转。
这189张风格不统一，我另一个实验还挑选了其中94张风格较为统一的，也使用了相同的方法预处理（效果也不好）。



创建embedding，名称为quadamp，初始关键字*，向量长度20

开始train，学习率固定为0.0005，使用subject_filewords.txt（也有另一个实验尝试了subject.txt，效果也不好）

使用txt2img的输入用于生成预览，输入是best quality, extremely detailed, masterpiece, girl, nude, small breasts

开始训练，前几百次迭代还好，越到后面画风约跑偏，图像越模糊，完全无法辨认，更不要提我想要的特征了

前1000次迭代，画风还好，细节精细，但没有目标特征




接近3000次的时候，糊成一坨，完全没有细节，更不要提特征




为了和谐，图模糊了，所以看起来似乎还好，但实际上贼烂，求各路大神分享经验

knlee

这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embedding的好处是不伤底模画风 但是难度就挺大的 100来张可能不是很够
我只是拜托朋友练过一个角色的lora（非a）效果还行 但是原作者的铅笔线稿风太强势了 会覆盖底模画风
之前gitgud上下的那个a的lora也是 嘴脸眼眉的特征过于明显了 偏偏又是我讨厌的类型 我也不喜欢用 而且我本来就不喜欢quad

我朋友说是参照了 b站 BV1Wv4y157NH 的手法练的 分层控制就可以比较好的解决画风污染的问题了
而且据说现在用单张原设图的基础上图生图 再用生出来的图再训练也能得到很好的lora了 实际上c站也有很多高人新练的lora不怎么画风污染

crazy95sun

knlee 发表于 2023-4-6 19:45
这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embe ...

看起来还是lora更快一点啊，没接触过，要研究研究

在没有相关特征的情况下要怎么图生图呢？我给AI传一个没腿的，他给我把腿补回来了

crazy95sun

knlee 发表于 2023-4-6 19:45
这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embe ...

看了一下b站视频，似乎是因为我在训练时启用了vae，明天禁用再试试

knlee

可以拿别人现成的lora先搞着 gitgud上有两个 虽然效果一般也不是不能用 我之前也试过先生成非a图片然后对肢体部分做mask然后加载lora用很高的权重进行inpaint
而且我看你的图量应该是够用的
而且单纯做一个quad的lora应该不需要那么多底图 如果要加别的种类可能就不好说了 但是也可以设计一些不同的提示词分别训练

crazy95sun

knlee 发表于 2023-4-6 23:12
可以拿别人现成的lora先搞着 gitgud上有两个 虽然效果一般也不是不能用 我之前也试过先生成非a图片然后对肢 ...

果然是vae的问题，禁用之后已经可以正常训练了，目前正在玄学调参中，10张已经可以出一两张能看的样子的了

crazy95sun

分享一下结果，如果违规，请版主单独删除这一条，不要干掉整个帖子