在抖音上看到一条视频,挺有意思的,曹老板:你才不配我的痴心绝对,应该是通过AI软件将视频/照片生成了动画,然后用AI匹配了人声,匹配了口型,音乐是《绝情晃一杯-莫叫姐姐》,整体听听,比原唱节奏还好多了!恩,尝试新鲜的技术,我也想弄一个!

一、思路解析

原视频里面一共有5个男性角色,4个女性角色,想在咸宁的几个网红里面选几个人出来进行AI模拟训练

(一)角色

疯哥顶牛这两个是跑不了的,漂漂我平常去得很少,不确定能不能拿到想要的素材,这就三个了,暂定猪猪三毛吧!

女性的话,冰冰老五大鱼?收集在说

(二)工具

看看需要哪些工具可以生成的,对比下

1.分离音频

拿到绝情晃一杯-莫叫姐姐》这个MP3,在剪映专业版就可以分离了,这个不复杂

2.声音克隆

现在的AI训练软件动起来挺复杂的,而且文件都很大,这个说是有个RVC软件,开发者贴心的给了一个整合包,项目地址:Retrieval-based-Voice-Conversion-WebU,最新的Releases:2.2.231006

(1)下载地址(5G):

For Nvidia GPU users:

https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/RVC1006Nvidia.7z

For AMD/Intel GPU users:

https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/RVC1006AMD_Intel.7z

开发者更贴心的给了百度盘,特么的,又是那个流氓软件

https://pan.baidu.com/s/19530AOh2H3Feuti_D51cXw?pwd=reqy

(2)安装使用(听说很慢):

windows直接运行go-web.bat文件就可以了,其他的可以看看文档。我是4060Ti的卡,看到有个播主说是要装cuda,到N卡的官网下载安装了,具体是否有影响,我这里没有测试,总之我的训练和生成都是顺利的。

需要注意的就是:1.文件夹名称最好不用中文,不要有空格等特殊字符;2.多准备点声音素材,在训练的时候,出来的效果会更好;3.还没发现~

对了,后面要记得:把训练的声音模型(20G)删掉!!

3.对口型

即梦AI平台

4.成品

咸宁网红KTV大赛

整体流程走了一遍,基本顺畅,可以交流!