GameMale
登陆 / 注册 搜索

USERCENTER

SEARCHSITE

搜索

查看: 1020|回复: 18
收起左侧

[技术交流] 【冬宫学府】SO-VITS-SVC喂饭级教程

[复制链接] |关注本帖

史莱哲林史莱姆牧场吸血魔蝠萨菲罗斯苏醒的格罗姆圣甲虫秘典可爱黑猫诺克提斯·路西斯·伽拉姆风暴磁场之鳄雷夜嘯聲

     楼主| 圣卫幻梦 发表于 2024-12-24 18:24:13 | 显示全部楼层 |阅读模式 <
    本帖最后由 圣卫幻梦 于 2024-12-24 18:42 编辑
    大家好这里是梦梦
    这里给大家带来一些ai歌曲的教程

             本次使用的软件为so-vits-svc,是基于VITS的开源项目,VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)是一种结合变分推理(variational inference)、标准化流(normalizing flows)和对抗训练的高表现力语音合成模型
    配置建议是N卡20系以上且显存大于等于6G(8G就能玩的很不错了),否则的话只能使用CPU硬推理了哦(AMD NO!)

    一.素材的准备
         1.ai语音最重要的就是让ai学会你想要的角色的音色,所以素材的准备是非常重要的,语音文件可以通过非常多的方式来寻找,其中最简单的方式就是解包,当然这可能对于某些朋友来说是比较难的,所以,你甚至可以直接打开录音设备来进行收集素材。这里我以及准备好了一份素材炽炎雏龙——斯莫得的中,日,韩配音全语音包,如果坛友想准备其他角色的音色的话可以只准备其中一种,只不过训练素材越来,最后出来的结果就越丰富,也越接近原音色。解包这一部分网上相应教程很多,这里我就不涉及了,训练的原声素材至少需要10分钟左右。

        2.在准备好原语音后,就可以进入第二步了。处理收集的素材,因为初步获得的素材,会有杂音,电音,混响,和声等等,所以需要我们进一步处理
    ,这边我推荐使用的是UVR5这一款软件,当然使用其他的音频处理软件比如AU之类的也是可以的哈。或者是使用花儿大佬的TTS整合包来进行一步到位的处理(更简单)
        2.1打开花儿大佬的启动器后,点击启动后稍等一会会打开新的界面UVR5的webui界面

          

          我们先选择model_bs_roformer_ep_317_sdr_12.9755这个模型来分离伴奏和干音
          在下方选择需要处理的音频,导出格式为flac,处理的音频文件命名改为英文后,在进行以下步骤
          处理文件夹推荐不变,或者更改为自己容易找到的地方
          处理完成后会输出信息提示
          若更改文件保存地址,那文件保存地址就在整合包的GPT-SoVITS-v2-240821\output\uvr5_opt目录下



           处理完后会有两个文件vocals和instrumental,而vocals就是我们分离出来的人声了
           更换为onnx_dereverb_By_FoxJoy模型,处理刚才分离的人声,如果这一步太慢了的朋友可以选择跳过,对素材最终影响结果不大
    (真的非常慢,我4060ti16g需要10分钟)


          处理完后又会有两个文件_main_vocal和_others,我们只需要保留_main_vocal这个文件即可
          再次更换为VR模型,如果素材混响不算严重,推荐选择第一个VR模型,如果很严重酌情使用第二或者第三个



          最后在VR模型处理完成后,会再次多出两个文件开头为vocal和instrument,我们只需要保留vocal文件就完成了
          到此我们就得到了干净的人声素材了

         2.2分割语音我们会到Audio-Slicer,或者接着使用之前的整合包
          先点击关闭UVR5—webui释放一下被占用的显存,将刚才最后一步得到的vocal的文件路径放入切割工具中,若未更改目录则为                  output\uvr5_opt(记得删除不需要的文件)



          然后我们去output/slicer_opt文件夹下寻找我们我们分割好的文件
          会发现有很多以及被分割好的小文件(分割后的文件应该是英文命名,若不是请记得更改),一般来说文件分割出来应该都是15秒之内        的,可以稍微查看一下是否有很大内存的文件,如果有大概率是没有分割成功,一般是选择删除或者将这个文件单独在进行分割一次

    二.训练
       1.然后我们就可以关闭花儿大佬的tts整合包,打开我们的so-vits-svc,切换到我们的训练页面



        将训练集(也就是刚才分割好的语音片段)放入so-vits-svc\dataset_raw目录下


        点击识别训练集,将训练使用的编码更改为[color=var(--body-text-color)]vec768l12,训练使用的f0预测器更改为[color=var(--body-text-color)]rmvpe


        勾选使用浅扩散模型,然后点击数据预处理
    经过漫长的等待


          当说话人那里出现了本次训练的目标后,那就完成了训练前的大部分操作,这里模型保存数量我推荐填写为5-10左右,方便用于反复测        试模型训练效果,其余参数保存不变,点击写入配置文件后,等待输出信息的提示


    点击从头训练,(之后打开如果需要接着训练只需要点击继续上一次训练内容即可)不要关闭训练打开的命令行


    三.推理
        这里选择好之前炼制好的模型,确认无误后下滑点击加载模型


         在框中放入想要ai角色所演唱的歌曲点击转换即可,(演唱输出也需要经历素材收集的步骤来去除伴奏和人声哦)



    成果展示


            基本上来说,以上步骤以及足够让新人体验一下ai翻唱了,具体的参数调整,训练调整,很多很多不刚需的额外操作我会放到之后的进阶帖子中


    这里是梦梦期待与你的下次详见





    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有账号?立即注册

    x

    评分

    参与人数 3血液 +8 追随 +3 堕落 +1 收起 理由
    elpic + 1 很给力!
    Hadley0T + 5 + 1 + 1
    AncL + 3 + 1

    查看全部评分

    回复

    使用道具 举报

    最终幻想XIV安静的海边刺杀者匕首青鸾杰西·麦克雷启程擎天柱(Peterbilt389)大黄蜂(ChevroletCamaro)妙手空空

      贰狼Awoo 发表于 2024-12-24 18:37:21 | 显示全部楼层 <
      回复

      举报

        崽仔狼 发表于 2024-12-24 18:39:19 | 显示全部楼层 <
        回复

        举报

        裸体克里斯『召唤好运的角笛』诡案谜集·黑夜之星绿茵宝钻无瑕的回忆

          AncL 发表于 2024-12-24 18:39:57 | 显示全部楼层 <
          回复

          举报

          漂洋小船冒险用指南针破损的旧书人鱼之泪雪王的心脏苏格兰圆脸胖鸡[Pro Max]丛林的鸟飞走了不曾寄出的信件幽灵竹筒『随时随地开启!』

            凯诺斯 发表于 2024-12-24 18:45:36 | 显示全部楼层 <
            回复

            举报

            龙腾世纪:审判『逆境中的幸运女神』赛博朋克2077无瑕的回忆贝优妮塔星芒戒指日荒戒指月陨戒指剑指撒冷质量效应三部曲

              饥渴难耐的G 发表于 2024-12-24 18:45:54 | 显示全部楼层 <
              回复

              举报

              最终幻想XIV『逆境中的幸运女神』我已倾听,我已感受,我已思考虚空之海的鲸『搓粉团珠』【新春限定】果体 隆

                咸鱼鱼 发表于 2024-12-24 18:57:50 | 显示全部楼层 <
                AI唱歌吗,感觉可以AI训练自己喜欢的人然后假装恋爱
                  收起(1)
                回复

                举报

                永亘环小狮欢舞『搓粉团珠』黄粱一梦【新春限定】果体 隆死灵之书永远的克叔業火死鬥实现梦想官复原职

                  娱乐法师火布偶 发表于 2024-12-24 19:07:55 | 显示全部楼层 <
                  各种AI孙燕姿的歌曲翻唱应该就是用了类似的工具进行训练的吧
                    收起(1)
                  回复

                  举报

                  我的天使GM吸血伯爵吃饱金币的Doge阿拉喵?神灯苏格兰圆脸胖鸡小小舞台永浴爱河

                    毛茸茸兽兽 发表于 2024-12-24 20:30:56 | 显示全部楼层 <
                    回复

                    举报

                    牧羊人

                      一般路人泠泠 发表于 2024-12-24 20:57:33 | 显示全部楼层 <
                      回复

                      举报

                      缘起星空虚空之海的鲸

                        you9632587 发表于 2024-12-24 22:04:16 | 显示全部楼层 <
                        楼主的教学写的真是很详细了啊,不过我这渣电脑就不指望他干这么复杂的活了
                        回复

                        举报

                        枕套幽灵『不败之花』组成家庭吃饱金币的Doge夏日柯基诺克提斯·路西斯·伽拉姆未来的黎明不朽之恋史莱姆牧场男巫之歌

                          phillipé 发表于 2024-12-25 10:15:02 | 显示全部楼层 <
                          回复

                          举报

                          近地夜航风物长宜玄生万物云上之光永亘环龙鳞石红心玉

                            cdcai 发表于 2024-12-25 21:41:05 | 显示全部楼层 <
                            回复

                            举报

                            虚空之海的鲸史莱姆牧场千里潋滟双贤辉石头罩不洁圣子古老金币日荒戒指森林鹿黄金树的恩惠丹雀衔五穗,人间始丰登

                              1287549 发表于 2024-12-27 17:36:46 | 显示全部楼层 <
                              回复

                              举报

                              鬼王酒吞童子

                                elpic 发表于 2024-12-27 21:18:12 | 显示全部楼层 <
                                好强!好详细的教!这个板块的好多技术都想学习一下来玩,收藏以后换完电脑必定要尝试一下
                                回复

                                举报

                                亚索月影狼晓月终焉旅行骰子!卡利亚权杖

                                  黑达克 发表于 2024-12-27 23:39:17 | 显示全部楼层 <
                                  回复

                                  举报

                                  满是血迹的徽章杰夫‧莫罗莱因哈特·威尔海姆石鬼面阿帕茶岛田半藏知识大典虎克船长

                                    1051506056 发表于 2024-12-28 12:13:40 | 显示全部楼层 <
                                    最近的ai歌曲真的很惊艳,之前点开了b站的一个大合集,全是ai的r&b,听了十几分钟发觉是ai
                                    回复

                                    举报

                                    『搓粉团珠』雪王的心脏肉垫手套『落樱缤纷』里昂‧S‧甘乃迪小小安全帽丹雀衔五穗,人间始丰登『随时随地开启!』『随时随地开启!』寶可夢 Pokémon

                                      zhuovboyan 发表于 2024-12-30 04:19:16 | 显示全部楼层 <
                                      回复

                                      举报

                                      裸体克里斯圣甲虫秘典【新春限定】果体 隆生金蛋的鹅永远的克叔亚瑟‧摩根史莱姆牧场虚空之海的鲸業火死鬥Forever Titanic

                                        星之子 发表于 2025-1-21 03:31:07 | 显示全部楼层 <
                                        回复

                                        举报

                                        您需要登录后才可以回帖 登录 | 立即注册

                                        本版积分规则

                                        文字版|手机版|小黑屋|GameMale

                                        GMT+8, 2025-2-23 10:24 , Processed in 0.258045 second(s), 137 queries , Redis On.

                                        Copyright © 2013-2025 GameMale

                                        All Rights Reserved.

                                        快速回复 返回列表