NEUTRINO
另请编辑者注意:请不要在人物历程等相关内容中悬挂此模板。具体使用方法详见模板说明文档。
基本资料 | |
软件名 | NEUTRINO |
---|---|
开发者 | SHACHI |
操作系统 | Windows / Linux / macOS(M1芯片) / 线上(基于Google Colab) |
软件类型 | 唱歌合成,语音合成 |
首次发布 | v0.101(2020年2月22日) |
目前版本 | v0.430(2021年03月29日) |
NEUTRINO是由SHACHI开发的免费歌声合成器。它基于音频合成深度学习模型(例如WaveNet,WaveRNN)与Morise开发的NSF来完成合成唱歌任务
据官方推特,此软件的名称(软件直译:中微子)来源于一个“希望能开拓未曾听说过的乐曲与流派”的想法。
发展历程
- 2019年12月3日
SHACHI在他的推特中上传了他用自己开发的引擎所合成的音声的片段。
- 2020年1月27日
SHACHI表示已将合成引擎转换成C++,并预告将会把引擎从Linux(Ubuntu)移植到Windows上。
- 2020年2月22日
名为SHACHI的nico用户发布演示demo与NEUTRINO正式版本v0.101,内含东北切蒲英与谣子音源模型。
- 2020年3月7日
NEUTRINO发布v0.103版本,并公开macOS版引擎。
- 2020年3月22日
发布了在线版(online),Google Drive与Colab互联后就能直接进行合成并输出。
- 2020年4月17日
发布的v0.200版本中加入了新的合成模型-NSF(之前只有WORLD引擎【仅仅是一个音素提取模型】),在使用NSF合成时还需要支持CUDA的NVIDIA显卡
(macOS版本因环境上不支持NVIDIA显卡而无法使用NSF)。
- 2020年5月29日
NEUTRINO发布v0.300版本[1],加入了新的音源模型-JSUT,GPU优化加速快了4倍,(macOS版本的GPU支持和NSF移植被暂停)
- 2020年6月22日
NEUTRINO发布v0.310版本,重新在东北切蒲英与谣子和JSUT的音源数据集上训练NSF。
- 2020年7月7日
- 2020年7月10日
NEUTRINO发布v0.310版本,添加了样式转换选项(-k)
- 2020年9月18日
NEUTRINO发布v0.400版本[3],增加东北伊达子音源(从这一版本开始系统默认压缩包只包括切蒲英的音源,其他音源需要另行下载),既有音源品质改善,NSF提升采样率(24khz->32khz)
- 2020年11月11日
NEUTRINO发布0.411版本,再次提升采样率(32khz->48khz),优化高频噪音,提高质量优化时序
- 2020年12月09日
NEUTRINO发布0.411版本
- 2020年12月24日
NEUTRINO发布0.412版本,增加音源(Merrow)[4]
- 2021年01月29日
NEUTRINO发布0.422版本,macOS(Apple Silicon)重新兼容
- 2021年03月29日
NEUTRINO发布0.430版本,呼吸声优化
- 2021年04月21日
小岩井小鸟录制了50首歌曲,交付给大学开放研究[5],将在NEUTRINO作为SEVEN出道
- 2021年04月23日
NEUTRINO发布0.431版本,增加音源(NAKUMO)[6]
- 2021年06月21日
面向赞助者的东北俊子音源公开
- 2021年07月05日
东北俊子音源完全公开
- 2021年07月05日
SEVEN音源完全公开[7]
- 2021年10月01日
NEUTRINO发布0.500Beta版本,更新了所有的声库,并不再兼容0.431之前版本的声库
使用方法(Google Colab)
另存为Google Drive,并在Colab上挂载,运行即可[8][9]
使用方法(Windows)
(多人正在开发分支,详情见官方推特相关)
首先需要用制谱软件(如自由软件MuseScore)来创建一个乐谱文件并加上歌词。注意,呼吸符号(∨)有着重要的意义,把呼吸符号和促音“っ”叠放的话,会更容易发出稳定的声音。还有,四分以下的休止符要尽可能少一些。歌词用全角平假名、片假名输入,一个音符最好只输入一个元音。
然后导出MusicXML文件,将其拖入NEUTRINO\score\musicxml
文件夹中之后,返回NEUTRINO根目录,用记事本打开Run.bat
,将set BASENAME=
之后的文字改成导出的MusicXML的文件名,将set ModelDir=
后改成欲使用的歌手,之后保存退出,再直接运行Run.bat
,耐心等候,当命令行窗口自动关闭后,便可在Output
文件夹中找到合成出的WAV文件。
最后再将导出的文件用根据所需在第三方软件(如WaveSurfer、Melodyne)中进行修音以及其他调整。
运行要求
由于是深度学习应用,推荐使用搭载RTX显卡的计算机配置
或直接使用google colab版本
相关链接
- ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 东北ずん子. 东北イタコは歌いたい!しゃべりたい!东北イタコ音声合成データベース制作プロジェクト. greenfunding.jp. 2020-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用时间: 2020-07-07]. (原始内容存档于2020-07-07).
- ↑ SNACHI. イラスト·设定资料. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 藤本健. 小岩井ことりさん作词·作曲·歌唱のDB公开で、AI歌声合成の民主化へ跃进。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
歌声ライブラリ(ナクモ)を追加しました。
- ↑ 藤本健. 小岩井ことりさんの歌声を人工知能で完全に实现!? 本人も自分そのものと认めるソフト完成への里舞台. DTMステーション. 2021-07-07 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).
- ↑ 木三聿. 如何使用NEUTRINO软件v0.2?. 知乎. 2020-04-29 [引用时间: 2021-07-07]. (原始内容存档于2021-07-07).