在抖音上看到一条视频,挺有意思的,曹老板:你才不配我的痴心绝对,应该是通过AI软件将视频/照片生成了动画,然后用AI匹配了人声,匹配了口型,音乐是《绝情晃一杯-莫叫姐姐》,整体听听,比原唱节奏还好多了!恩,尝试新鲜的技术,我也想弄一个!
一、思路解析
原视频里面一共有5个男性角色,4个女性角色,想在咸宁的几个网红里面选几个人出来进行AI模拟训练
(一)角色
疯哥、顶牛这两个是跑不了的,漂漂我平常去得很少,不确定能不能拿到想要的素材,这就三个了,暂定猪猪和三毛吧!
女性的话,冰冰、老五、大鱼?收集在说
(二)工具
看看需要哪些工具可以生成的,对比下
1.分离音频
拿到《绝情晃一杯-莫叫姐姐》这个MP3,在剪映专业版就可以分离了,这个不复杂
2.声音克隆
现在的AI训练软件动起来挺复杂的,而且文件都很大,这个说是有个RVC软件,开发者贴心的给了一个整合包,项目地址:Retrieval-based-Voice-Conversion-WebU,最新的Releases:2.2.231006
(1)下载地址(5G):
For Nvidia GPU users:
https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/RVC1006Nvidia.7z
For AMD/Intel GPU users:
https://huggingface.co/lj1995/VoiceConversionWebUI/resolve/main/RVC1006AMD_Intel.7z
开发者更贴心的给了百度盘,特么的,又是那个流氓软件
https://pan.baidu.com/s/19530AOh2H3Feuti_D51cXw?pwd=reqy
(2)安装使用(听说很慢):
windows直接运行go-web.bat文件就可以了,其他的可以看看文档。我是4060Ti的卡,看到有个播主说是要装cuda,到N卡的官网下载安装了,具体是否有影响,我这里没有测试,总之我的训练和生成都是顺利的。
需要注意的就是:1.文件夹名称最好不用中文,不要有空格等特殊字符;2.多准备点声音素材,在训练的时候,出来的效果会更好;3.还没发现~
对了,后面要记得:把训练的声音模型(20G)删掉!!
3.对口型
4.成品
整体流程走了一遍,基本顺畅,可以交流!
评论