【AI绘画入门4】角色定制白嫖colab训练LoRA模型简单无脑！
本帖最后由 领带骑士 于 2023-4-3 22:47 编辑【AI绘画入门4】角色定制白嫖colab训练LoRA模型简单无脑！【AI绘画入门3】multi-controlnet指定人物手势+局部重绘【AI绘画入门2】LoRA模型+controlnet指定人物姿势【AI绘画入门1】快速入门，使用colab在线运行SD，C站使用指引A训练前的必要准备1. 准备一些图片
2. 图片预处理： 裁切统一尺寸+自动识别tagColab上的lite版本sd也可以预处理，界面都一样的，这里直接用本地的了2.1设置好图片地址和预处理结果的输出地址，2.2设置裁切的尺寸2.3勾选自动分割+deeppooru2.4完成后检查裁切的图片是否符合删掉多余的图片，不满意的就自己手动裁切一下（我傻傻自己手动了一下午）输出结果：
3. Tag修正：下载tag批量编辑工具：https://github.com/starik222/BooruDatasetTagManager
3.1. 由于布莱泽有3种姿态：穿盔甲、只穿斗篷、裸上身，这里分了3个文件夹分别存放3类图片。
3.2. 删tag：用工具打开数据集文件夹，需要记住布莱泽的哪些特征，就在右侧统一删掉哪些tag。比如muscluar，wolf，black_fur等。这是因为tag里的特征不会被Lora记住，所以要删掉所有人物外观相关的tag。想了解更多可以传送：https://www.bilibili.com/video/BV1ZM411c7aj/?vd_source=96bc290f0bc120224e80474b99e52ebc
3.3. 添加tag没有识别出来的，与人物特征无关的tag。像画面构成、角度、动作等。这一步需要一张张的检查，就略过不展示了3.4. 添加触发词：首先重命名文件夹：8_blaidd_armour、8_blaidd_cape、8_blaidd_topless，8代表重复训练次数。分文件夹只是为了区分要训练素材的训练次数，文件夹后面的名字是无所谓的然后每个文件夹里的图片都打上文件夹名字上对应的tag这些tag就是触发词：训练完后，我们输入blaidd，armour就能生成穿着盔甲的布莱泽；输入blaidd，topless就能生成上身赤裸的布莱泽。
static/image/hrline/line7.png
B.免费使用colab在线训练Lora模型
预处理完毕后，打开WSH032大佬的colab笔记本，接下来的操作非常无脑https://colab.research.google.com/drive/1_f0qJdM43BSssNJWtgjIlk9DkIzLPadx?usp=sharing
1.上传数据集到谷歌硬盘：注意文件路径
2.挂载谷歌硬盘、安装训练所需依赖：逐步点击运行4.1、4.2、5.1、5.2、5.4的代码块（5.3不需要，它是给正则集打tag，我们现在只有训练集）
3.下载底模模型这里决定选用gay621，右键复制下载链接第一个选自定义，（这里当时没注意选的是sd1.5= =所以下面的结果是基于sd1.5的）中间填上模型下载地址Gay621是ckpt模型，所以第三个选ckpt点击运行6.1代码块
4. 设置LoRA模型的名字、图片尺寸这里设置成blaidd，512*512，其余不需要动运行7.1代码块（7.2跳过，7.3是继续训练现有的LoRA模型，现在啥都没有呢，也跳过）
5.开始训练（8.1是训练过程中实时查看损失率和学习率，看了也没用，跳过）点击8.2代码块开始训练然后去干点别的吧，默认的15个epoch我这里大概挂了40分钟结束了
6.训练完成，使用保存在谷歌硬盘的lora模型测试效果
随便打开一个lite版本的SD挂载谷歌网盘，可以看到训练好的blaidd模型。（621这个模型是我自己复制的）
将blaidd模型复制到SD的model文件夹里，它才能知道有这个模型
创建代码块复制以下命令，点击执行
同理你可以将网盘里的其他模型复制到colab里
!cp -r /content/drive/MyDrive/Lora/output/blaidd.safetensors/content/stable-diffusion-webui/models/Lora!cp -r /content/drive/MyDrive/gay621.ckpt/content/stable-diffusion-webui/models/Stable-diffusion然后如果你不想使用sd1.4ckpt，可以修改这一行
找到最后一个aria2c，右边两个是模型下载链接和模型名称，
中间就修改为你需要的模型的下载地址，或者是你已经复制到colab中的底模型地址
右边修改为你自己的模型名称（到时webui就会显示这个名字）
运行起来测试lora模型
结果测试
测试一下训练半小时的结果:上colab设置好gay621和blaidd lora模型后，正面prompt设置成<lora:blaidd:0.8>，blaidd,cape,penis,muscularmale wolf,负面prompt和其他参数按照官方推荐来：<lora:blaidd:0.8>,blaidd,cape,weapon,penis,muscularmale wolf,<lora:blaidd:0.8>,blaidd,armour,weapon,penis,muscularmale wolf,
topless的生成到一半限额到了，强制下线，所以无了
训练集和lora模型
https://drive.google.com/drive/f ... 6gfJ?usp=share_link
1.素材选择上有点欠缺
2.模型还需要更多的训练
3.文生图的时候prompt设置的太简陋，参数也是随便调的，没测试过
但这次训练只是水贴需要，不出意外的话应该没啥后续训练了
有兴趣的坛友可以根据喜欢的底模型（比如ye18）和素材继续训练布莱泽的模型
static/image/hrline/line7.png
C.使用已有的lora模型再次训练
重复B第5点前的所有操作
在7.3，设置从现有模型开始训练
在7.4可以选择优化器
如果想要训练时间长一点，可以把epoch往上挑
然后到8.2开始训练
static/image/hrline/line7.png
人物lora模型训练基本的流程大致就是这样了都看到这里了，可以求一个追随吗，感谢{:5_118:}
就是说太贴心了，教的真的很细致了
学会必然在绘画区肝肝
谢谢楼主分享。没有本命角色，但是感觉同理可以用来训练人工智障理解一些特殊的服装或者动作方便我继续大炼狗奴，哦说错了，男人:$:$:$:$:$
不然输入on his knees人工智障老给我整个蹲着的人，还有输入wearing a dog collar不是画只狗在旁边就是加个口水兜，直接把我气孕:Q:Q:Q:Q 事前准备也需要蛮多精力的
顺便布莱泽的大丁丁没打码惹:$ 好详细的教程~不过没有本命角色是可以说的吗…{:6_194:} 看了楼主的上个贴子和这贴AI教学让我深刻认知到跑图还很需要配置:'( 一步步调试也是很辛苦啊。 我还是慢慢等坛友们的产出就好了~:$
感谢分享介绍。 还没自己跑过lora，据说相当吃配置
这几个布莱泽看起来憨憨的;P，不知道是不是眼睛小的原因 感谢攻略，狠狠地注入评分{:6_167:} 厉害，坐等大佬的现成模型。个人感觉ai画得犬科比猫科好一些 好详细的教程啊！可惜好没有本命角色呜呜 {:6_165:} 感觉621模型那张的清晰度在需要打码和不需要打码之间反复横跳 好细致精心的教程，感谢楼主的整理和分享啦！ 很是详细的教学，但是看起来还是好麻烦的样子，我这种笨宝应该学不会 楼主好厉害！能帮我的兽设弄个ai绘图嘛:$已追随 是很详细的教程呢，感谢楼主分享。 教的真好，最适合我这种脑子转不明白的:lol 狼狼，可爱的狼狼，我要扑上去prprpr 训练单一人物也很费劲啊x
学会打标签，你已经出成熟的数据女工了x