【已解决】AI画图embedding训练不出来，有没有同专业的求教
本帖最后由 crazy95sun 于 2023-4-9 22:07 编辑省流：成了，关掉VAE（把model.vae.pt重命名成别的名字，重启）就能正常训练了
楼下分享一下结果（如果违规请版主单独删除，求不要干掉整个帖子）
目前为止用Novel AI泄漏模型+stable diffusion webui完全没法训练出可用的embedding。采用的D站上Furry Sheep介绍的方法，使用gelbooru资源训练textual inversion。目前配置如下
训练集是189张gelbooru爬下来的quad风格图，文件名是tag，使用预处理工具切成了512x512的标准大小，带左右翻转。
这189张风格不统一，我另一个实验还挑选了其中94张风格较为统一的，也使用了相同的方法预处理（效果也不好）。
创建embedding，名称为quadamp，初始关键字*，向量长度20
开始train，学习率固定为0.0005，使用subject_filewords.txt（也有另一个实验尝试了subject.txt，效果也不好）
使用txt2img的输入用于生成预览，输入是best quality, extremely detailed, masterpiece, girl, nude, small breasts
开始训练，前几百次迭代还好，越到后面画风约跑偏，图像越模糊，完全无法辨认，更不要提我想要的特征了
前1000次迭代，画风还好，细节精细，但没有目标特征
接近3000次的时候，糊成一坨，完全没有细节，更不要提特征
为了和谐，图模糊了，所以看起来似乎还好，但实际上贼烂，求各路大神分享经验
本帖最后由 knlee 于 2023-4-6 19:47 编辑
这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embedding的好处是不伤底模画风 但是难度就挺大的 100来张可能不是很够
我只是拜托朋友练过一个角色的lora（非a）效果还行 但是原作者的铅笔线稿风太强势了 会覆盖底模画风
之前gitgud上下的那个a的lora也是 嘴脸眼眉的特征过于明显了 偏偏又是我讨厌的类型 我也不喜欢用 而且我本来就不喜欢quad
我朋友说是参照了 b站 BV1Wv4y157NH 的手法练的 分层控制就可以比较好的解决画风污染的问题了
而且据说现在用单张原设图的基础上图生图 再用生出来的图再训练也能得到很好的lora了 实际上c站也有很多高人新练的lora不怎么画风污染 knlee 发表于 2023-4-6 19:45
这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embe ...
看起来还是lora更快一点啊，没接触过，要研究研究
在没有相关特征的情况下要怎么图生图呢？我给AI传一个没腿的，他给我把腿补回来了 knlee 发表于 2023-4-6 19:45
这破论坛是不是不让发链接啊草
我自己没练过 手头的电脑太破了做不了训练 不过感觉lora可能更简单一点 embe ...
看了一下b站视频，似乎是因为我在训练时启用了vae，明天禁用再试试 可以拿别人现成的lora先搞着 gitgud上有两个 虽然效果一般也不是不能用 我之前也试过先生成非a图片然后对肢体部分做mask然后加载lora用很高的权重进行inpaint
而且我看你的图量应该是够用的
而且单纯做一个quad的lora应该不需要那么多底图 如果要加别的种类可能就不好说了 但是也可以设计一些不同的提示词分别训练 knlee 发表于 2023-4-6 23:12
可以拿别人现成的lora先搞着 gitgud上有两个 虽然效果一般也不是不能用 我之前也试过先生成非a图片然后对肢 ...
果然是vae的问题，禁用之后已经可以正常训练了，目前正在玄学调参中，10张已经可以出一两张能看的样子的了 分享一下结果，如果违规，请版主单独删除这一条，不要干掉整个帖子
页:
[1]