记录萌新从0开始学习ai生成 1—Stable Diffusion web-ui

PopHavel061 · 发表于 2024-2-8 21:38:31

本帖最后由 PopHavel061 于 2024-2-13 00:20 编辑

本帖的初衷想法是为了满足自己生成各种壁纸和未来可能会遇到的情况而做准备，因此我决定开贴在此记录自己学习ai的一步步历程和挫折（你也可以当做你在看我的笔记本而我会时不时修改内容方便我自己查阅），也可供大家观看我犯下的错误来由此解决问题。

本篇内容主要讲述以下几点：可通过F3功能键输入日期进行教学内容翻阅
1. 2024.2.5 我使用的整合包还有底模和Lora模型
2. 2024.2.6 底模和Lora模型之间的差别及我该如何分辨？
3. 2024.2.8 我已经使用Tag进行ai绘画生成了较为满意的作品，那么我该如何进行进一步修图到自己最满意的效果？

由于在2024.2.5观看一位大佬发的睡衣派对帖子之后萌发想法决定开始自学ai绘画，到2024.2.8期间的学习过程将快速概括。

2024.2.5 下载了秋叶大佬的web-ui整合包作为新手训练使用。
【【AI绘画】模型训练器发布！简单又不失专业的LoRA模型训练一键包】 https://www.bilibili.com/video/B ... 716728f282b15528c20

底膜用的是GM的maturemale模型底膜。

AI绘画很简单——AI绘图教学向系列①基础准备工作
https://www.gamemale.com/forum.php?mod=viewthread&tid=126922&fromuid=691595
(出处: GameMale)

lora模型使用的是 壮熊风格_Dsharp Style。
国内网站：https://tusiart.com/models/618135610269414176
C站：https://civitai.com/models/63407
以及国内大佬听说蛋糕很好吃自己做的lora （在国内网站里他推荐的是使用SDXL1.0 但在微信沟通时他其实还是推荐maturemale模型底膜）
为什么推荐使用maturemale模型而不使用SDXL1.0模型是因为maturemale模型是基于SD1.5模型制作的，而目前大部分lora还是其他模型都是用SD1.5模型的更多。如果你使用SDXL1.0模型进行绘画，那么会出现鬼画效应所以还是推荐使用以为SD1.5模型基础的底模来进行绘制

因此
如果你想下载以为基础的SDXL1.0的Lora模型，那应该是这个
国内网站：https://tusiart.com/models/679603249474647497

如果你想下载以为基础的SD1.5的Lora模型，那应该是这个
国内网站：https://tusiart.com/models/626571969715981778

而我使用的则是SD1.5的Lora模型

由这一个底模及两个Lora模型，作为第一次ai绘画模型的大致摸索，由于是第一天接触ai绘画因此主要目的还是下载资源和了解大致内容为主。以下为第一次尝试。

2024.2.6 因为分不清底模和Lora模型的区别于是到处下载资源，由于编辑此日历程时已经了解其中的关系。因此在此日说出自己对底模和lora模型之间的区别和关系。
如果有游玩过老滚5系列的玩家应该十分了解打底包和拓展mod之间的依赖关系。
底模就相当于基石，如果没有基石那么再华丽的装饰在不合适的地方都是白做工。
而Lora模型是作为装饰作用的工具起到的效果则是替换底模的元素，如头部，身体，衣服等。因此很多大佬做出让人满意的作品都是在有一个以及奠定好基础的底模上训练Lora模型来生成自己满意的作品，所以当大佬发布自己的作品参数配置时，想要还原风格相近的作品就请尽量符合他所需要的配置！
Lora模型一般大小为144MB，如果有那种细节调整的Lora如Ostris大佬的Lora模型即为特殊情况
https://civitai.com/user/ostris
他的Lora模型我将比重调整到了2，并在触发词（即触发该Lora模型的tag）添加常用的tag后我发觉整体形象会比没有添加好上许多，基本上是90%的Lora我都有试着使用

通常底模的内容大小为2G左右，秋叶大佬的解释也提到了超过4G已经可以称之为垃圾了，下面我将贴出网址供大家查询原因究竟是为什么如此形容（其实就是我根本没看）
【AI绘画】模型修剪教程：8G模型顶级精细？全是垃圾！嘲笑他人命运，尊重他人命运 - 哔哩哔哩 (bilibili.com)

所以在此期间我下载了许多的模型基本是浪费了自己很多的时间，而此期间则是在尝试使用c站其他人的tag来生成作品，因此也有很多大家熟悉的画风。先不谈风格问题，画面描述生成，肌肉以及下面就是完全不符合预期内容。因此我决定先停止自己的胡乱探索。

2024.2.7 因为吸取了前两天的教训，所以我决定上b站重新观看各个大佬的教学视频，但主要方向还是在lora训练上面，因为底模已经确定是选择无误的方式。使用maturemale模型底膜作为我的基调再进行我想要替换的元素，目前的想法就是自己做一个lora模型来测试，但没想到的是选择素材库后竟然频繁出错，遂决定重新观看b站教学。
由此得知：lora训练其实也分了很多训练板块（如果你想的话）
先是头部（大家都喜欢看头）
再是身体（筋肉，肉壮，胖，狼，身体是选择双开门还是big belly，皮肤油性还是干性，肤色是如何选择）
最后是人物特征的元素（衣服或者头发颜色标志性道具等）
由于唯一一次认为成功的训练竟然是在Stable Diffusion的生成上面成功但训练时长之长以至于我放弃训练没记错是300多小时。
训练方式我从无脑的选择一个画师的素材到先试着训练一个头部作为试水。由于网络上的Dsharp风格有一些不满意的地方如总是展示二头肌动作又或者总是不听命令的同样面部，于是我决定先行制作他的lora模型给个人使用，我收集了几张不同角度的头部照片作为试水先放到了同一文件夹，而素材库文件夹取名路径则必须全英文，不然会报错。
鉴于我还不理解lora究竟是哪里接着出错和犯毛病，于是先在此放弃编辑更多Lora内容以免误导他人，所以你可以不看这一天的内容，如果你没看到这句话了就说明我理解并且已经编辑新内容进去了或者单开了一个新的帖子。

2024.2.8 为了解决2024.2.6出现的各种ai“特色” 我去搜索了解决办法，有两种方法，一种方法就是使用ADetailer 插件来大幅缓解错误生成，我在b站观看的教学是以下网址，但是插件内容就得去原本网址下载，所幸的是视频教学有提供国内下载和原本网站下载的地址,因此我便不再次提供网址（主要是我也不知道国内网址有没有被和谐）

【拒绝脸崩 stable diffusion修脸大法 ADetailer脸部修复插件教程】 https://www.bilibili.com/video/B ... 716728f282b15528c20

使用ADetailer 插件后的画面就明显会比2024.2.6的画面要好很多，因此我根据视频的教学来生成画面已经初具效果，对此我也感叹ai绘画的学习和现实绘画的学习速度对比之快让我情理之中又意料之外。也难怪会有很多人更愿意学习ai绘画而不是现实的绘画。下面是尝试的画面。

可以看出短短几天的时间就从一个层次跳到了另一个层次，因此我相信在今年年中过完之前保持这样的学习进度能早日追上站内大佬的制作水平！但是只想满足于大部分的满意则是不可能的，因此我们就要用到局部重绘功能，记得复制好种子 英文名为 seed：然后几位数的数字例如 seed：1509127771 保险起见可以锁定大效果图（即噪声图）

可以看到，我本来要求的是单人但是后面多出现了一个人，其次双手交接的地方出现了ai“特色” 因此复制当前到图生图，点击局部重绘，我不知道为什么出bug无法全部显示因此，我在我的启动器文件目录搜索output后找到当天日期的文件（找不到请善用文件管理器右上角的搜索功能，慢但总归没有好）

首先我想要去除背景的人，那么我们选择蒙版区域内容处理里面的空白潜空间。

然后我为了节省时间，选择单批数量4次。
（这种方式请建立在对自己电脑配置有把握的情况下使用！我的显卡配置2060ti和16g显存且无多余后台下才如此操作）

于是我们便得出了4张不同的图片，通过对比我们发现背景的人物并没有“消失”而是变成了其他我们人类所认为的物体，这个知识点我会在后面提到所以我们接着往下看如何完善人物的其他地方。我们选择蒙版区域内容处理里面的原版或者潜空间噪声（不同部位不同用法没有固定思路哪个好用就用哪个），然后重复一样的动作，但别忘了你的ADetailer 插件和满意之后的保存图片以便多次修改！
经过多次重复修改便可以得到这样的画面了

但是你会发觉肌肉纹理还有打光及双手还是没法局部重绘解决，但如果你有能力你可以试着用ps进行修改和作画，或者试试旁边的功能涂鸦重绘来进行简单修改，如果你有绘画功底的画那么更好你可以用Sai或者Ps自己将不和谐内容自己解决，这样一张完整图片就呈现在你的面前了。这里我推荐你可以去看看这位大佬出的教程，来为角色增添换衣服

【福利教学】教你全程用AI制作你自己的差分nsfw立绘,0绘画基础(可能需少量ps基础),需sd和最新ps工具
https://www.gamemale.com/forum.p ... 7663&fromuid=691595
(出处: GameMale)
鉴于Ps beta出现官方锁ip和禁止nsfw内容，我决定暂时先封锁此方法，直到我找到另一种可以代替方法后将会贴出对应教程链接（但还是很推荐你去给这个博主点个赞！）

下面则是我进行ps和sai2修改及自己简单手绘修改后的画面

毕竟ai只是一个工具而不是完全替代所有画家的天灾
因此在这里补充一条知识点，我们所熟知的ai“特色”是因为ai通过我们的lora模型进行tag提取来进行我们提供的tag相近的图片特征来生成物体最终来形成我们所见的画面，所以在ai的眼里他所做的工作是“正确”的。因为它很好的完成了我们的任务，但是在我们人类眼中是不能符合我们的要求的，所以我们才要进行修改。
大体生成概念为：
AI模型：图片→文本→数字的过程
AI绘画：数字→文本→图片的过程
ai开始生成的模糊画面我们通常称之为“噪声图”，它通过我上面的概念来进行演算，通过tag寻找特征，随着演算不断扩散演进便会慢慢将我们输入的指令变成一张我们想要的图片。
ai所生成的图片的底层逻辑算法中是存在一定不可控性，期间的生成过程或者训练过程中会有一部分的信号丢失，所以我们哪怕用原本的tag，原本的图片都不能去100%还原你所看到的ai生成画面，这也就是为什么ai绘画会有大量“重复”和大量独立的画面的存在。
即AI绘画存在一个很大的问题，它无法做到完全的可控只能做到我们力所能及的合理生成画面范围之内。
因此想要AI绘画百分百无错误是不可能的！
知识点来源：【[全网最细lora模型训练教程]这时长？你没看错。还教不会的话，我只能说，师弟/妹，仙缘已了，你下山去吧！】 https://www.bilibili.com/video/B ... 716728f282b15528c20

~~现在在征求意见可以去这个帖子投一下票~~
已决定开新帖进行书写新教学内容（摸索），到时候会在文章贴出第二篇内容
（以下投票已经不重要可用来水一次血液）

我写的AI内容是否需要分新帖编写？还是就在原本内容内编写完全部内容？
https://www.gamemale.com/forum.p ... 8976&fromuid=691595
(出处: GameMale)