【AI绘画入门2】LoRA模型+controlnet指定人物姿势
本帖最后由 领带骑士 于 2023-3-31 17:00 编辑【AI绘画入门4】角色定制白嫖colab训练LoRA模型简单无脑！【AI绘画入门3】multi-controlnet指定人物手势+局部重绘【AI绘画入门2】LoRA模型+controlnet指定人物姿势【AI绘画入门1】快速入门，使用colab在线运行SD，C站使用指引
吓死了，刚刚一发帖发现帖子内容只有两张图，
吓得我赶紧锁帖子重新编辑，发现是有两张图片冲突了
奇奇怪怪的bug怎么这么多
【AI绘画】快速入门，使用colab在线运行SD，C站使用指引
既然水都水了，追求刺激那就贯彻到底咯（{:6_192:}
1.模型介绍B站很多视频都有介绍，直接省流了对于一次文生图来说：ckpt：底模型，必须的vae：用了底模型配套的vae模型会更好看LoRA等：可有可无
2.LoRA模型的使用（Embedding、Hypernetwork同理）2.1 如果你在c站找到的模型是LoRA类型的比如我想要用这个Asianmale模型首先查看一下底模型是什么看看他模型介绍部分说了什么：初始版本，主要为亚洲男性考虑，没有处理好衣服数据，lora 权重过大时，会导致衣服变褶皱，周边会出现彩色噪点。 lora 权重太小，脸型修饰不够，使用的时候酌情设置权重值，正在重新训练中......看来没啥需要注意的2.2 底模型+LoRA模型下载这部分的操作和快速入门是一样的，不赘述了唯一要注意两个地方2.3刷新模型列表，切换底模型2.4在prompt中添加Lora标签即可生效。至于具体权重是多少，官方用0.6那咱们也跟着用就是了
3.使用controlnet指定人物姿势
3.1回到colab的github页，这次选择stable版本（如果你是本地部署的stable diffusion，参考这个安装controlnet：https://www.bilibili.com/read/cv21829826）如果你按照快速入门的步骤，先运行了lite版本，现在直接运行会报错直接复制stable colab的所有代码，回到lite colab，暂停正在运行的代码块，新建代码块，粘贴运行可别直接断开并删除运行时，不然又要重新下载安装环境了最多可以运行12小时，在此期间不小心断开连接，直接点击右上角的重新连接就好了
3.2按照文生图的步骤填好参数。这里我使用image Info读取刚刚保存的图片的参数，点击text toimg自动填充3.3配置controlnet刚刚colab限额到了，只好用本地部署的stable diffusion示范可以通过图片指定姿势，有时候可能会骨骼识别错误，最好使用真人（福瑞图直接识别不了）
点击下方按钮可以预览识别结果3.4生成图片成功指定了姿势，右边那张图是骨骼识别结果。
3.5其他同理，切换预处理+模型就行，这里直接截图了
似乎可以用来线稿上色，没试过
static/image/hrline/line7.png
都看到这了，求求给个追随{:4_99:}
感恩楼主，正在学习AI绘画，LZ的贴子真是及时雨惹:$:$ 感谢攻略，评分被榨干了，也就追随还有一两个 额，软件都没用过。先慢慢参考一下吧。 没用过AI制图，想不到要注意的要素这么多，以为是关键字打一打就出图了说;P 教程很专业，楼主研究的很透彻，我有学习到，感谢 先收藏了，楼主讲得很不错，以后可以试试 {:6_164:}谢谢楼主分享 但是对AI绘图一窍不通 只能直接吃别人产的 {:6_165:} 第一次知道还能有图片冲突这种bug
好东西谢谢分享惹 收藏噜 controlnet写的是支持边缘图、分割图、深度图做引导生成的
（刚去了解到免费版只能12小时，能挂载google drive但免费也就15g 已经……无所谓了(´×ω×`)咱连入门都没看懂，就马上发进阶了……不知道还有没有最终或入土教程～ asiamale的模型把我帅到了了 谢谢撸主，这份×液 我吃下了 给大佬的教程贴130个好评惹{:6_195:} 详细教程好赞，先给评分再仔细看看
另外发帖的话很推荐用纯文字模式多检查看看，还有绝对不要用论坛自带表情以外的emoji表情啥的 这是在云端生成吗？吃本地配置的吗？收藏以后研究看看 有说是webui能画更多还是什么，就没选lora，后面才知道我多虑了，渣机带不起来，我也不会念咒{:6_164:}
总之有新手教程真的太棒惹~ 0-0 好详尽的教程系列呀~光速收藏 感谢教程惹，我也来捣鼓一下AI试试看{:6_179:}