GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 3742|回复: 52
收起左侧

[AI 生成] 关于LoRA的一些讲解

    [复制链接] |关注本帖
    今天上来在论坛看到了关于LoRA的分享,但是那位大兄弟没带图我就稍微更具体的说一下LoRA


    什么是LoRA?(不想了解它的来龙去脉的可以跳过这一段)论文地址:[2106.09685] LoRA: Low-Rank Adaptation of Large Language Models (arxiv.org),是微软提出的用于大模型fine-tuning的一种手段,毕竟我们AI绘画常用的模型即使用fp16存也有2G的参数,自然属于大模型,此前的Dreambooth或者Textual Inversion均是轻量的微调方式,但LoRA比它们还要轻量,如果只训练UNet话最低4G显存的显卡应该就可以进行模型的微调,因此在cloneofsimo在github上发布项目后获得了大范围的推广。

    一句话总结:Textual Inversion embeddings 能干的它都能干,而且训练时间更短,所需计算资源更少。

    关于如何使用训练好的LoRA模型和如何训练,建议直接左手百度右手谷歌,批里批里油管啥的多的是教程。

    下面就到了茎涨刺激的男人展示环节噜!不过因为时间紧迫没细调可能有的图会有人体错误透视错误等情况,总之让我们看看LoRA有什么用:

    首先是画人物,借助LoRA,我们可以轻易地画出各种各样的你喜欢角色的同人图:
    青年源氏惹
    三哥(您完全不会画刀子和握刀子的手是吗)
    自己训的铁男嘻嘻嘻
    钟离daddy惹~
    七七八八的其他角色

    然后就是模仿画风,这里只用亲爱的PenguinFrontier大大的画风来做一下演示(话说怎么都是这个斜向右的角度,看来这个LoRA模型的训练集不够大或者没标注好):


    同时我们还可以画风和人物混用,达到免费抓一个大佬过来画画的目的(这样真的好吗):
    penguinfrontier画风下的源氏和幽灵(使命召唤)
    penguinfrontier画风下的钟离(企鹅大概是因为penguinfrontier的关键词触发的惹,不过看着有点可爱就留下来噜)

    此外,LoRA最有用的当然是画一些高难度体位噜,不过毕竟版规不让发想用的婊贝们自己学会训练丰衣足食厚~(顺便网上的体位模型很多都是bg异性恋的,使用它们记得做好看130个β的准备)最后祝大家都能画出自己想要的男人!(不过AI领域发展这么快1年落地2年过气可能明后年我们就在用其他AI其他方法噜)

    其他的一些碎碎念(适合已经了解LoRA的使用及训练的人阅读):

    如果本身使用的模型比较风格化,使用LoRA可以出一些具有模型特色的同人角色
    pastelMix模型画的钟离,迪卢克和三角头

    使用LoRA的过程中,权重过低可能会画不出想要的东西,权重过高会邪神,同时网上各种各样的模型可能有的过拟合有的欠拟合,灵活调整权重哈~

    欠拟合的LoRA模型通常需要触发词才能画出想要的东西,比如上面的原神迪卢克和钟离的模型不加关键词一辈子都画不出来,画出来也可能有所偏离,需要另外对人物的描述
    绿头发的你卢,除了发型没有一点像是可以说的吗

    过拟合的LoRA有可能和训练集里的图撞车!如果被原图画师或者画师粉丝撕了那只能我亲爱的你大事不妙惹~而且如果训练集画风和你使用的模型画风相去甚远很容易邪神,所以建议还是学习率调小点,欠拟合只是画不出来,过拟合直接吓到维纳斯流产。

    network_dim越小训练出来的模型大小越小,相应拟合能力越小,不过正如上文所说过拟合欠拟合都不好自己看要画的东西复杂程度灵活取值惹

    batchsize、epoch以及学习率这都是深度学习经典训练参数了,随便找博客了解一下惹~

    如果你要画带橘芭的,建议训练集就放该人物带橘芭的涩图,或者搭个你觉得很好看的橘芭的LoRA,嘻嘻嘻~

    关于训练底模,个人意见,铁血平涂日漫痴选择novelai/anything/AbyssOrangeMixs及基于它们的混合模型,其余建议使用stable diffuison 1.5或者基于sd的混合模型

    关于训练数据,微调网络质量比数量重要,训个人物而已不要用爬虫扒,你是想看130个水印还是糊到亲妈都不认识的缩略图

    关于训练标注,如果你电脑计算资源吃紧或者你是铁血日漫痴,选择deepdanbooru或者wd 1.4这样的采用booru系图站上的tag进行标注的方式,如果你计算资源丰富可以使用CLIP系的标注方式,如果你计算资源不足但是你的英文很好且你画的这个东西有着复杂的透视关系前后关系一堆tag加逗号根本不足以描述你这个东西,你可以打开标注的txt自己写一段描述这个东西的话来进行标注

    最后,就算做了以上这么多工作,训练出来的东西可能还是失败,这可能就是深度学习的魅力⑧,祝大家炼丹术召唤术学业有成!

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 6血液 +6 追随 +4 堕落 +1 收起 理由
    tabris + 1
    黑达克 + 3 + 1
    永濑康介 + 1 很给力!
    106592140 + 1 很给力!
    maloner + 3
    书の妖怪 + 1 赞一个!

    查看全部评分

    回复

    使用道具 举报

    不曾寄出的信件『随时随地开启!』漂洋小船『随时随地开启!』冒险用指南针破损的旧书丛林的鸟飞走了雪王的心脏人鱼之泪幽灵竹筒

      回复

      使用道具 举报

      实现梦想業火死鬥魔法不朽·传奇不熄卡洛斯·奥利维拉白野威十年一梦官复原职男巫之歌永浴爱河虚空之海的鲸

        回复

        使用道具 举报

        虚空之海的鲸『私有海域』『钜鲸』『星河碎片』『召唤好运的角笛』『交钥匙了!』『矩阵谜钥Ⓖ』十周年扭蛋 - 红『落樱缤纷』红心玉

          回复

          使用道具 举报

          诺克提斯·路西斯·伽拉姆Forever Titanic業火死鬥钢铁侠永远的克叔极·龙の意死灵之书卡利亚权杖虚空之海的鲸史莱姆牧场

            回复

            使用道具 举报

            老旧之椅『星河碎片』業火死鬥永远的克叔卡洛斯·奥利维拉VergilDante岛田半藏岛田源氏王者之盾

              回复

              使用道具 举报

              小小舞台『 弗霖的琴』虚空之海的鲸業火死鬥男巫之歌泰比里厄斯【夏日限定】夏日的泰凯斯史莱姆牧场崩朽之青铜龙王岛田源氏

                好详细的讲解介绍,好评

                画师的图投喂训练这个确实争议还挺大的,至少目前还是自娱自乐不要大范围传播比较好()
                回复

                使用道具 举报

                狩猎用小刀炽天使之拥丛林的鸟飞走了失去力量的白狼『住在GM村』卡洛斯·奥利维拉男用贞操带破损的旧书雪王的心脏和你一起飞行的皮卡丘

                  回复

                  使用道具 举报

                  一国之主岛田源氏巴比伦辞典火柴 - Gamemale艾吉奥小小舞台漂洋小船不曾寄出的信件星芒戒指虎克船长

                    回复

                    使用道具 举报

                    诺克提斯·路西斯·伽拉姆晓月终焉圣英灵凯尔Vergil大天使之杖麦迪文(Medivh)旧日支配者—克苏鲁加勒特·霍克成年独角兽玄生万物

                      感谢科普,之前看到那个帖子特意去查了但还是不甚明了,有这样详细的讲解+实际效果展示现在至少对LoRA有了初步的了解~
                      回复

                      使用道具 举报

                      『住在GM村』格拉迪欧拉斯雪王的心脏『星河碎片』『灰域来音』预知水晶球炽天使之拥『伊黎丝的赞词』纯真护剑『随时随地开启!』

                        回复

                        使用道具 举报

                        王者之盾Joker山猫图腾猎鹰图腾眼镜蛇图腾守望者指挥官徽章GM論壇進階勛章驯化黑龙幼崽

                          回复

                          使用道具 举报

                          丹雀衔五穗,人间始丰登遗留之人的城堡不洁圣子冒险专用绳索近地夜航真·天使之赐龙鳞石岛屿探险家赛博朋克2077王者之盾

                            回复

                            使用道具 举报

                            知识大典森林羊男强者の茶瑞雪兆丰年,生灵万物新牧羊人GM論壇進階勛章

                              回复

                              使用道具 举报

                              征服之王被释放的灵魂死灵之书圣甲虫秘典破损的旧书吃饱金币的Doge生金蛋的鹅内森·德雷克果体76Futūrum(未来)

                                回复

                                使用道具 举报

                                卢西亚诺‧科斯塔詹姆斯‧维加春之歌布莱克沃尔谜踪女巫加勒特·霍克黑龙幼崽红心玉

                                  回复

                                  使用道具 举报

                                  最终幻想XIV龙腾世纪:审判质量效应三部曲赛博朋克2077森林羊男【新手友好】昆進124x43 隐形➁

                                    回复

                                    使用道具 举报

                                    裸体克里斯【夏日限定】夏日的泰凯斯内森·德雷克卡洛斯·奥利维拉索尔·奥丁森性感男神GM杰森‧斯坦森叛逆者

                                      回复

                                      使用道具 举报

                                      用过的粪桶奇思妙想寶可夢 Pokémon牧羊人森林羊男龙鳞石

                                        回复

                                        使用道具 举报

                                        百相千面-晦永远的克叔業火死鬥实现梦想官复原职虚空之海的鲸Zootopia幸运女神的微笑『逆境中的幸运女神』御医神兔

                                          回复

                                          使用道具 举报

                                          您需要登录后才可以回帖 登录 | 立即注册

                                          本版积分规则

                                          文字版|手机版|小黑屋|GameMale

                                          GMT+8, 2024-12-22 15:47 , Processed in 0.164775 second(s), 144 queries , Redis On.

                                          Copyright © 2013-2024 GameMale

                                          All Rights Reserved.

                                          快速回复 返回列表