NEUTRINO

出自Vocawiki
跳至導覽 跳至搜尋
此頁面中存在需要長期更新的內容及資料列表，現存條目中資料未必是最新。
另請編輯者注意：請不要在人物歷程等相關內容中懸掛此模板。具體使用方法詳見模板說明文檔。
基本資料
軟體名 NEUTRINO
開發者 SHACHI
作業系統 Windows / Linux / macOS（M1晶片） / 線上（基於Google Colab）
軟體類型 唱歌合成，語音合成
首次發布 v0.101（2020年2月22日）
目前版本 v2.6.1（2024年10月11日）

NEUTRINO是由SHACHI開發的免費歌聲合成器。它基於音頻合成深度學習模型（例如WaveNet，WaveRNN）與Morise開發的NSF來完成合成唱歌任務。

2023年，NEUTRINO v1.0.0發布，項目更名為NEUTRINO Electron。

2024年，NEUTRINO v2.0.0發布，項目更名為NEUTRINO Diffusion Muon。

據官方推特，此軟體的名稱（軟體直譯：中微子）來源於一個「希望能開拓未曾聽說過的樂曲與流派」的想法。

發展歷程

2019年
12月3日SHACHI在他的推特中上傳了他用自己開發的引擎所合成的音聲的片段。
2020年
1月27日SHACHI表示已將合成引擎轉換成C++，並預告將會把引擎從Linux（Ubuntu）移植到Windows上。

v0.1x~0.3x

v0.1x~0.3x是項目的α測試階段，按順序實現了基本功能。

2020年
2月22日名為SHACHI的nico用戶發布演示demo與NEUTRINO正式版本v0.101，內含東北切蒲英與謠子音源模型。
2月29日更新v0.102，公開Linux版引擎。
3月7日更新v0.103，並公開macOS版引擎。
3月20日發布v0.200α，添加隨機生成(-r)，解決了氣噪聲和時序估計錯誤的問題。v0.2x開始，加入了新的合成模型-NSF（之前只有WORLD引擎【僅僅是一個音素提取模型】），在使用NSF合成時還需要支持CUDA的NVIDIA顯卡（macOS版本因環境上不支持NVIDIA顯卡而無法使用NSF）。為切蒲英訓練了NSF的新聲庫。
3月22日發布了在線版(online)，Google Drive與Colab互聯後就能直接進行合成並輸出。NSF添加到了在線版中。Linux版也集成到了在線版中。
4月10日更新v0.200β，為謠子訓練了NSF的新聲庫。NSF添加到了Windows版中，並將NSF的輸入輸出與其他模塊統一。
4月17日更新v0.200正式版，修復了NSF相關的問題，並添加了運行NSF相關的Visual Studio運行庫。
4月20日更新MacOS版本，但NSF的移植被擱置。
5月29日發布v0.300[1]，加入了新的音源模型-JSUT。v0.3x起，提高了引擎的渲染速度和模型的加載速度，GPU優化加速快了4倍，（macOS版本的GPU支持和NSF移植被暫停）
6月22日更新v0.310，重新在東北切蒲英與謠子和JSUT的音源數據集上訓練NSF。改善了模型加載，並不再支持以前的模型。
7月7日東北伊達子音源資料庫製作[2]，僅僅兩天就完成眾籌目標。
7月10日發布v0.320，加快了GPU上運行的速度，並添加了樣式轉換選項（-k）。

v0.4x~0.5x

β測試階段的v0.4x增加了聲庫數量，而v0.5x提升了質量和功能。

2020年
9月18日發布v0.400[3]，增加東北伊達子音源，既有音源品質改善，NSF提升採樣率（24khz->32khz）。從這一版本開始系統默認壓縮包只包括切蒲英的音源，其他音源需要另行下載。
11月11日發布v0.411，再次提升採樣率（32khz->48khz），優化高頻噪音，提高質量優化時序。
12月09日更新v0.412。
12月24日發布v0.420，增加音源（Merrow）[4]。
2021年
1月29日更新v0.422版本，重新兼容macOS（Apple Silicon）。
3月29日發布v0.430，呼吸聲優化。
4月21日小岩井小鳥錄製了50首歌曲，交付給大學開放研究[5]，將在NEUTRINO作為SEVEN出道。
4月23日發布v0.431，增加音源（NAKUMO）[6]
6月21日面向贊助者的東北俊子音源公開。7月5日，東北俊子音源完全公開。7月7日，SEVEN音源完全公開[7]
10月1日發布v0.500β，更新了所有的聲庫，並不再兼容0.431之前版本的聲庫。本版本開始，默認聲庫由切蒲英更改為Merrow。
11月15日發布v0.510，可以微調WORLD（β版本）的平滑選項，支持日英雙語顯示錯誤信息，並將未定義或不包含歌詞的音符改為生成靜音片段。
2022年
2月10日發布v0.540，更新NSF版本，現可在CPU/GPU上合成NSF，並在Windows、MacOS和在線版本上使用。
3月25日發布v0.551，提高了引擎的估計精度，修復了NSF在MacOS上的錯誤。

Neutrino Electron（v1.x）

2022年
4月22日v1.0.0發布。項目更名為Neutrino Electron。規格和操作已經穩定，因此作為正式版發布。同時註冊了Niconico Commons和PIXIV FANBOX。
6月8日v1.1.0發布，提高了NSF合成質量，改進了NSF框架。不再兼容之前的語音庫。
8月1日v1.2.0發布。
10月14日更新v1.2.1。
11月15日v1.3.0發布，提高了NSF在GPU上的運行速度，並支持多GPU。

Neutrino Diffusion Muon（v2.x）

2023年
4月28日v2.0.0發布。項目更名為Neutrino Diffusion Muon。
6月16日v2.1.0發布。提高f0和WORLD的精度，更新onnx runtime框架的版本。
7月14日v2.2.0發布。更改了NSF和WORLD的輸出音量。
10月27日v2.3.0發布。更新Merrow，GPU版本的一些操作從CPU改為GPU。
10月30日更新v2.3.1，12月16日更新v2.3.2。
2024年
1月12日v2.4.0發布。
3月13日v2.5.0發布，更新了CUDA版本，默認聲庫增加了Nakumo。
5月10日更新v2.5.1。
9月20日v2.6.0發布。
10月11日更新v2.6.1。

使用方法

運行要求

使用 GPU 進行合成需要 NVIDIA 製造的 CUDA 兼容 GPU。由於是深度學習應用，推薦使用搭載RTX顯卡的計算機配置，或直接使用google colab版本。

Google Colab

Google Colaboratory（以下簡稱 Colab）是一項網絡服務，可讓您在瀏覽器上運行 Google 的雲 PC。

首次運行時可能會很慢，但之後再運行就會變得很快。

  1. 下載並解壓縮 NEUTRINO（在線版）
  2. 轉到 Google Drive
  3. 在 My Drive 中創建一個「Colab Notebooks」文件夾，並複製您剛剛解壓縮的 NEUTRINO。
  4. 轉到 NEUTRINO 文件夾，右鍵單擊它，選擇「更多」→「添加應用程式」。
  5. 搜索 「Colaboratory」 並添加它。
  6. 右鍵單擊 NEUTRINO 文件夾中的「NEUTRINO.ipynb」→在「Google Colaboratory」中打開筆記本→「在應用程式中打開」。
  7. 在屏幕頂部的菜單中打開 notebook 設置→ 「Runtime」 「Change runtime type」。 確保選擇 GPU 進行硬體加速。
  8. 按單元格左側顯示的 [] 或 play 按鈕以執行它。如果您看到用於對用戶進行身份驗證的連結，請單擊該連結進行身份驗證。 將顯示驗證碼，因此請將其複製並粘貼到其中。
  9. 之後，如果按順序執行，音頻將在 NEUTRINO/output 下方輸出。
  10. 如果您想使用自己的 MusicXML，請將其上傳到 score/musicxml 文件夾，更改 BASENAME，然後再次執行數字 4。
  11. 如果要使用在本地 PC 上創建的聲學特徵文件 （mel-spec， f0） 或標籤文件，請按原樣上傳樂譜文件夾和輸出文件夾，更改 BASENAME，然後再次執行編號 5 的 NSF。*請注意，如果您移動數字 4，它將被覆蓋！

[8][9]

Linux

在線版本也可以在本地 PC 上的 Ubuntu 上運行。

  1. 安裝 Ubuntu （20.04 LTS）
  2. 安裝 gcc
  3. 安裝最新的 nvidia-driver
  4. 安裝 CUDA 工具包CUDA 工具包 12.3 或更高版本（適用於 NEUTRINO Diffusion v2.5 或更高版本CUDA 工具包 11.8）CUDA 工具包（適用於 NEUTRINO Diffusion v2.4 或更早版本）
  5. 為您的 CUDA 工具包版本安裝 cuDNN
  6. 下載並解壓 NEUTRINO （在線版）
  7. 使用 chmod 命令更改權限，等等。
  8. 導航到 NEUTRINO 文件夾並運行 Run.sh
  9. 如果 sample1.wav/sample1_world.wav 在 output 下輸出，則表示工作正常。

Windows

截至2020年7月10日，NEUTRINO尚沒有官方圖形界面（GUI），所以無法調整發聲參數。

（多人正在開發分支，詳情見官方推特相關）

首先需要用制譜軟體（如自由軟體MuseScore）來創建一個樂譜文件並加上歌詞。注意，呼吸符號（∨）有著重要的意義，把呼吸符號和促音「っ」疊放的話，會更容易發出穩定的聲音。還有，四分以下的休止符要儘可能少一些。歌詞用全形平假名、片假名輸入，一個音符最好只輸入一個元音。

然後導出MusicXML文件，將其拖入NEUTRINO\score\musicxml文件夾中之後，返回NEUTRINO根目錄，用記事本打開Run.bat，將set BASENAME=之後的文字改成導出的MusicXML的文件名，將set ModelDir=後改成欲使用的歌手，之後保存退出，再直接運行Run.bat，耐心等候，當命令行窗口自動關閉後，便可在Output文件夾中找到合成出的WAV文件。

最後再將導出的文件用根據所需在第三方軟體（如WaveSurfer、Melodyne）中進行修音以及其他調整。


 
查 · 論 · 編
NEUTRINO
A.I.VOICE
SSS合同會社
其他
No.7 • 謠子 • JSUT
 
查 · 論 · 編
音聲合成引擎
歌聲合成類
語音合成類
AITalk
語音轉換類

相關連結

  1. ↑ SNACHI. Version.0.3系アップデート. NEUTRINO. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  2. ↑ 東北ずん子. 東北イタコは歌いたい！しゃべりたい！東北イタコ音聲合成データベース製作プロジェクト. greenfunding.jp. 2020-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  3. ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2020-07-04 [引用時間: 2020-07-07]. （原始內容存檔於2020-07-07）. 
  4. ↑ SNACHI. イラスト・設定資料. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  5. ↑ 藤本健. 小岩井ことりさん作詞・作曲・歌唱のDB公開で、AI歌聲合成の民主化へ躍進。NEUTRINOの新キャラクタ『No.7』がリリースへ. DTMステーション. 2021-04-21 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  6. ↑ SNACHI. Version.0.4系アップデート. NEUTRINO. 2021-07-04 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 歌聲ライブラリ（ナクモ）を追加しました。 
  7. ↑ 藤本健. 小岩井ことりさんの歌聲を人工知能で完全に実現!? 本人も自分そのものと認めるソフト完成への裏舞台. DTMステーション. 2021-07-07 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  8. ↑ SNACHI. オンライン版の使い方. NEUTRINO. 2021-03-28 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
  9. ↑ 木三聿. 如何使用NEUTRINO軟件v0.2？. 知乎. 2020-04-29 [引用時間: 2021-07-07]. （原始內容存檔於2021-07-07）. 
取自「https://vj-wiki.top/index.php?title=NEUTRINO&oldid=90713」