项目仓库

w-okada/voice-changer: リアルタイムボイスチェンジャー Realtime Voice Changer

项目介绍

  1. VC Client是一款用于实时音频转换的客户端软件,它利用各种音频转换人工智能(VC,Voice Conversion)进行音频转换。支持的音频转换人工智能包括:

  2. 该软件可以通过网络进行使用,并且可以将音频转换的处理负载外部化,以便与高负荷的应用程序(例如游戏)同时使用。这样可以减轻音频转换处理的负担。

  3. VC Client支持多个平台,包括:

    • Windows

    • Mac(M1芯片)

    • Linux

    • Google Colab(仅限MMVC)

    这样,您可以在不同的操作系统上使用VC Client进行音频转换。

  4. 推荐配置:

    GPU显卡:RTX 3060 8G 以及上

    如果你的显卡性能不好,或者是性能仅够聊天使用,不够和游戏同时使用,该怎么办呢?
    可以考虑使用云端推理后将声音传回来,跟你在本地部署的效果一样。
    详情请参考 (保姆级)如何在云端部署RVC变声器,低配党福音~

软件下载

Voice Changer

注意:使用此方式下载,必须保证魔法网络可用,并且这将会消耗你的魔法流量。

  1. 如果您无法从 Google 云端硬盘下载,请尝试从hugging_face下载

  2. 软件开发人员没有AMD显卡,因此尚未确认可以工作。 它只是捆绑了onnxruntime-directml

  3. 如果解压缩或启动缓慢,则可能是防病毒软件正在运行。 尝试在排除文件或文件夹的情况下运行它。 (风险自负)

系统

调用方式

软件版本

文件大小

谷歌云盘

HuggingFace

Windows

NVIDIA

1.5.3.8a

3237MB

点击前往

点击前往

Windows

AMD

1.5.3.8a

3122MB

点击前往

点击前往

MacOS

CPU

1.5.3.8a

794MB

点击前往

点击前往

Windows

NVIDIA

1.5.3.8

3237MB

点击前往

点击前往

Windows

AMD

1.5.3.8

3122MB

点击前往

点击前往

MacOS

CPU

1.5.3.8

794MB

点击前往

点击前往

Windows

NVIDIA

1.5.3.7

3237MB

点击前往

点击前往

Windows

AMD

1.5.3.7

3122MB

点击前往

点击前往

MacOS

CPU

1.5.3.7

794MB

点击前往

点击前往

虚拟声卡 Voicemeeter

voicemeeter有三个版本,分别是 VoicemeeterVoicemeeter Banana 和 Voicemeeter Potato。
如果只是吃鸡或日常应用banana版本完全够用,当然专业一点可以下载potato版本,不过这个版本是需要捐赠。
除了potato 其他两个版本完全免费功能也一样够用,建议下载banana版本。

官网:VB-Audio VoiceMeeter Banana

安装

官方渠道下载

默认情况下,当我们解压软件安装包之后,将会在要目录找一个名为start_http.bat的批处理文件。

只要你配置好科学上网,双击运行该文件,就将会自动下载默认的所有模型。

如下图所示

使用教程

首先,将我们下载的文件解压,找到并运行start_http.bat的批处理文件。

备注:如果你运行的是start_https.bat的批处理文件,这将会自动在浏览器启动一个包含WebUI的客户端,功能与GUI一致。

首次运行时会提示我们一些关于捐赠作者的提示信息,直接点击Start按钮即可跳过,之后就可以看到该软件的主界面啦。

软件功能区如下所示

音频模型参数区

增益

是指增大或减小音量,如无特别需求保持默认即可。

如果推理后声音过大,可尝试降低输入,不建议降低输入,可能但不限于会造成:吞字、口齿不清等。

音高

是指变调,男变女+12左右,女变男-12左右,男变男、女变女一般保持默认即可

但是请注意,由于每个人音调不同,请适当根据实际情况改变此参数。

索引

指是否参考底模的音色进行推理,数值越高,推理出的声音越接近底模的音色。如果调高不影响口齿,可以略微调高,一般0.3-0.5都是可以的。如果模型效果不理想尽量调小。

降噪功能参数区

阅前提醒

此功能区不建议开启,目前已知的负面效果包括但不限于:吞字、电流音、口齿不清、增加推理时间等

如你是N卡,建议开启N卡自带降噪 NVIDIA Broadcast

可自行Bing或百度

噪声

可以消除回声,抑制1打开效果不理想可同时打开抑制2

F0估计

指降噪模型效果选择,一般选rmvpe

噪声门

指噪声阈值,根据实际情况调节即可

音频质量参数区

并不是越高越好,高了可能会加重错别音和不相关的语气的推理

并且请根据显卡性能情况选择

如果你的底模够优秀,一般建议38400左右,并不是数值越高效果越好!

高了也会显著增加推理所需时间,显卡性能不够时可能会造成机关枪等情况。

额外

一般建议16320或7680,原因同上。

GPU

选择你的独立显卡,如果你有多块显卡,无脑性能最高的那块

音频硬件设置区

请参考声卡跳线设置章节

其它语音模型导入

官方下载

关于各多第三方模型可以前往https://discord.gg/aihub官方Discord频道的voice-models下载。

第三方模型安装

将下载好的模型解压,将会得到PTHIndex两个文件,关于PTH就是音频模型文件啦,而Index是模型缩略图,个别模型中不存在Index,可以忽略。

音频模型选择区域点击编辑按钮,上传你下载后已解压的对应文件即可。

如图所示:

找到空槽位,点击上传,如图:

然后在新窗口内,Type选择 RVC ,依次上传Model 和 Index 即可,Model 文件是以 .pth 结尾 ,Index 文件是以 .Index 结尾。如没有Index文件可忽略,不影响声音质量。如图

上传完毕后即出现在模型槽里,点击no image可上传图片以增加标识度。

声卡跳线

在此章节中,我只教如何将声音从 麦克风——Voice Changer ——Voicemeeter——用户软件,因为Voicemeeter很复杂,如果想了解原理或有更多需求的小伙伴去Youtube或哔哩哔哩搜索相关视频以便更好理解。

安装好Voicemeeter Banana后,打开 Voice Changer ,将输入调整为你的物理麦克风,输出调为 Voicemeeter 的 Input ,如图:

接下来打开 Voicemeeter ,将 Stereo Input 1 设置为你的物理麦克风,点击 HARDWARE OUT 区域的 A1 按钮,将 HARDWARE OUT 区域的 A1 设置为你的扬声器设备,如音响,耳机等,建议选择MME,有关此区别,请自行Bing或百度。

然后打开Windows设置——系统——音效 ,将麦克风选择为 Voicemeeter Out B1 。

返回 Voice Changer 将推理打开,待有延迟后,推理即为成功,然后打开Voicemeeter ,将 Voicemeeter Inputs 区域 B1 按钮打开,此时即成功将推理后的声音输出到虚拟麦克风,因为你此前已经在设置中选择了虚拟麦克风为默认麦克风,此时在游戏或在开黑软件中,你的声音为推理后的声音。

下面解释区域按钮的意义。

Stereo Input 1

A1 为监听你的物理麦克风收到的声音,也就是你真正的声音;

B1 为将你物理麦克风收到的声音,也就是你真正的声音推到虚拟麦克风上,此时其他人听到的声音为你真实的声音。

A1 和 B1 都开启,则你既能听到自己真正的声音,别人也能听到你真正的声音。

Voicemeeter Inputs

A1 为监听你经过推理后的声音,也就是你变声后的声音;

B1 为将你经过推理后的声音,也就是你变声后的声音,推到虚拟麦克风上,此时其他人听到的声音为你变声后的声音;

A1 和 B1 都开启,则你既能听到自己变声后的声音,别人也能听到你变声后的声音。

以下是场景示例:

当你想用变声器聊天:

则关闭 Stereo Input 1 A1 B1开启 Voicemeeter Inputs 中的 B1 即可,如果你想监听自己变声后的声音,则打开A1

当你想用正常声音聊天:

则关闭 Voicemeeter Inputs A1B1 开启 Stereo Input 1 中的 B1 即可,如果你想监听自己正常的声音,则打开A1

使用条款

关于实时变声器つくよみちゃん,禁止将转换后的语音用于以下目的,遵循つくよみちゃん语料库的使用条款。
■人を批判・攻撃すること。(「批判・攻撃」の定義は、つくよみちゃんキャラクターライセンスに準じます)

■特定の政治的立場・宗教・思想への賛同または反対を呼びかけること。

■刺激の強い表現をゾーニングなしで公開すること。

■他者に対して二次利用(素材としての利用)を許可する形で公開すること。
※鑑賞用の作品として配布・販売していただくことは問題ございません。

  • 关于实时变声器あみたろ,遵循あみたろの声素材工房的以下使用条款。详情请见这里

    あみたろの声素材やコーパス読み上げ音声を使って音声モデルを作ったり、ボイスチェンジャーや声質変換などを使用して、自分の声をあみたろの声に変換して使うのもOKです。

    ただしその場合は絶対に、あみたろ(もしくは小春音アミ)の声に声質変換していることを明記し、あみたろ(および小春音アミ)が話しているわけではないことが誰でもわかるようにしてください。

    また、あみたろの声で話す内容は声素材の利用規約の範囲内のみとし、センシティブな発言などはしないでください。

  • 关于实时变声器黄琴まひろ,遵循れぷりかどーる的使用条款。详情请见这里

免责声明

对于因使用或无法使用本软件而导致的任何直接损害、间接损害、连带损害、结果性损害或特殊损害,概不承担任何责任。

本站及文章作者不对您使用软件导致的任何后果负责,您应在使用其他人模型前告知模型所有者并得到授权或同意,对于发生的纠纷,本站及文章作者不负任何责任。