本帖最后由 领带骑士 于 2023-4-3 22:47 编辑
A训练前的必要准备 1. 准备一些图片
2. 图片预处理: 裁切统一尺寸+自动识别tag Colab上的lite版本sd也可以预处理,界面都一样的,这里直接用本地的了 2.1设置好图片地址和预处理结果的输出地址, 2.2设置裁切的尺寸 2.3勾选自动分割+deeppooru 2.4完成后检查裁切的图片是否符合 删掉多余的图片,不满意的就自己手动裁切一下(我傻傻自己手动了一下午) 输出结果:
3. Tag修正: 下载tag批量编辑工具:
3.1. 由于布莱泽有3种姿态:穿盔甲、只穿斗篷、裸上身,这里分了3个文件夹分别存放3类图片。
3.2. 删tag: 用工具打开数据集文件夹,需要记住布莱泽的哪些特征,就在右侧统一删掉哪些tag。比如muscluar,wolf,black_fur等。 这是因为tag里的特征不会被Lora记住,所以要删掉所有人物外观相关的tag。
3.3. 添加tag 没有识别出来的,与人物特征无关的tag。像画面构成、角度、动作等。 这一步需要一张张的检查,就略过不展示了 3.4. 添加触发词: 首先重命名文件夹: 8_blaidd_armour、 8_blaidd_cape、 8_blaidd_topless, 8代表重复训练次数。分文件夹只是为了区分要训练素材的训练次数,文件夹后面的名字是无所谓的 然后每个文件夹里的图片都打上文件夹名字上对应的tag 这些tag就是触发词: 训练完后,我们输入blaidd,armour就能生成穿着盔甲的布莱泽; 输入blaidd,topless就能生成上身赤裸的布莱泽。
B.免费使用colab在线训练Lora模型
预处理完毕后,
1.上传数据集到谷歌硬盘: 注意文件路径
2.挂载谷歌硬盘、安装训练所需依赖: 逐步点击运行4.1、4.2、5.1、5.2、5.4的代码块 (5.3不需要,它是给正则集打tag,我们现在只有训练集)
3.下载底模模型 这里决定选用gay621,右键复制下载链接 第一个选自定义,(这里当时没注意选的是sd1.5= =所以下面的结果是基于sd1.5的) 中间填上模型下载地址 Gay621是ckpt模型,所以第三个选ckpt 点击运行6.1代码块
4. 设置LoRA模型的名字、图片尺寸 这里设置成blaidd,512*512,其余不需要动 运行7.1代码块 (7.2跳过,7.3是继续训练现有的LoRA模型,现在啥都没有呢,也跳过)
5.开始训练 (8.1是训练过程中实时查看损失率和学习率,看了也没用,跳过) 点击8.2代码块开始训练 然后去干点别的吧,默认的15个epoch我这里大概挂了40分钟结束了
6.训练完成,使用保存在谷歌硬盘的lora模型测试效果 挂载谷歌网盘,可以看到训练好的blaidd模型。(621这个模型是我自己复制的)
将blaidd模型复制到SD的model文件夹里,它才能知道有这个模型
创建代码块复制以下命令,点击执行
同理你可以将网盘里的其他模型复制到colab里
- !cp -r /content/drive/MyDrive/Lora/output/blaidd.safetensors /content/stable-diffusion-webui/models/Lora
复制代码- !cp -r /content/drive/MyDrive/gay621.ckpt /content/stable-diffusion-webui/models/Stable-diffusion
复制代码 然后如果你不想使用sd1.4ckpt,可以修改这一行
找到最后一个aria2c,右边两个是模型下载链接和模型名称,
中间就修改为你需要的模型的下载地址,或者是你已经复制到colab中的底模型地址
右边修改为你自己的模型名称(到时webui就会显示这个名字)
运行起来测试lora模型
结果测试
测试一下训练半小时的结果: 上colab设置好gay621和blaidd lora模型后, 正面prompt设置成<lora:blaidd:0.8>,blaidd,cape,penis,muscularmale wolf, 负面prompt和其他参数按照官方推荐来: <lora:blaidd:0.8>,blaidd,cape,weapon,penis,muscularmale wolf, <lora:blaidd:0.8>,blaidd,armour,weapon,penis,muscularmale wolf,
topless的生成到一半限额到了,强制下线,所以无了
训练集和lora模型
https://drive.google.com/drive/f ... 6gfJ?usp=share_link
1.素材选择上有点欠缺
2.模型还需要更多的训练
3.文生图的时候prompt设置的太简陋,参数也是随便调的,没测试过
但这次训练只是水贴需要,不出意外的话应该没啥后续训练了
有兴趣的坛友可以根据喜欢的底模型(比如ye18)和素材继续训练布莱泽的模型
C.使用已有的lora模型再次训练
重复B第5点前的所有操作
在7.3,设置从现有模型开始训练
在7.4可以选择优化器
如果想要训练时间长一点,可以把epoch往上挑
然后到8.2开始训练
人物lora模型训练基本的流程大致就是这样了 都看到这里了,可以求一个追随吗,感谢
|