Style-Bert-VITS2 WebUI (version 2.6.1)

下のようにmodel_assetsディレクトリの中にモデルファイルたちを置いてください。

model_assets
├── your_model
│   ├── config.json
│   ├── your_model_file1.safetensors
│   ├── your_model_file2.safetensors
│   ├── ...
│   └── style_vectors.npy
└── another_model
    ├── ...

各モデルにはファイルたちが必要です：

• config.json：学習時の設定ファイル
• *.safetensors：学習済みモデルファイル（1つ以上が必要、複数可）
• style_vectors.npy：スタイルベクトルファイル

上2つはTrain.batによる学習で自動的に正しい位置に保存されます。style_vectors.npyはStyle.batを実行して指示に従って生成してください。

Style-Bert-VITS2の学習用データセットを作成するためのツールです。以下の2つからなります。

• 与えられた音声からちょうどいい長さの発話区間を切り取りスライス
• 音声に対して文字起こし

このうち両方を使ってもよいし、スライスする必要がない場合は後者のみを使ってもよいです。コーパス音源などすでに適度な長さの音声ファイルがある場合はスライスは不要です。

必要なもの

学習したい音声が入った音声ファイルいくつか（形式はwav以外でもmp3等通常の音声ファイル形式なら可能）。 合計時間がある程度はあったほうがいいかも、10分とかでも大丈夫だったとの報告あり。単一ファイルでも良いし複数ファイルでもよい。

スライス使い方

1. inputsフォルダに音声ファイルをすべて入れる（スタイル分けをしたい場合は、サブフォルダにスタイルごとに音声を分けて入れる）
2. モデル名を入力して、設定を必要なら調整して音声のスライスボタンを押す
3. 出来上がった音声ファイルたちはData/{モデル名}/rawに保存される

書き起こし使い方

1. Data/{モデル名}/rawに音声ファイルが入っていることを確認（直下でなくてもよい）
2. 設定を必要なら調整してボタンを押す
3. 書き起こしファイルはData/{モデル名}/esd.listに保存される

注意

• 長すぎる秒数（12-15秒くらいより長い？）のwavファイルは学習に用いられないようです。また短すぎてもあまりよくない可能性もあります。 この制限はVer 2.5では学習時に「カスタムバッチサンプラーを使わない」を選択すればなくなりました。が、長すぎる音声があるとVRAM消費量が増えたり安定しなかったりするので、適度な長さにスライスすることをおすすめします。
• 書き起こしの結果をどれだけ修正すればいいかはデータセットに依存しそうです。

すでに適度な長さの音声ファイルからなるデータがある場合は、その音声をData/{モデル名}/rawに入れれば、このステップは不要です。

使い方

• データを準備して、モデル名を入力して、必要なら設定を調整してから、「自動前処理を実行」ボタンを押してください。進捗状況等はターミナルに表示されます。

• 各ステップごとに実行する場合は「手動前処理」を使ってください（基本的には自動でいいはず）。

• 前処理が終わったら、「学習を開始する」ボタンを押すと学習が開始されます。

• 途中から学習を再開する場合は、モデル名を入力してから「学習を開始する」を押せばよいです。

JP-Extra版について

元とするモデル構造として Bert-VITS2 Japanese-Extra を使うことができます。 日本語のアクセントやイントネーションや自然性が上がる傾向にありますが、英語と中国語は話せなくなります。

Style-Bert-VITS2でこまかくスタイルを指定して音声合成するには、モデルごとにスタイルベクトルのファイルstyle_vectors.npyを作成する必要があります。

ただし、学習の過程では自動的に、平均スタイル「Neutral」と、（Ver 2.5.0以降からは）音声をサブフォルダに分けていた場合はそのサブフォルダごとのスタイルが保存されています。

方法

• 方法0: 音声を作りたいスタイルごとのサブフォルダに分け、そのフォルダごとにスタイルベクトルを作成
• 方法1: 音声ファイルを自動でスタイル別に分け、その各スタイルの平均を取って保存
• 方法2: スタイルを代表する音声ファイルを手動で選んで、その音声のスタイルベクトルを保存
• 方法3: 自分でもっと頑張ってこだわって作る（JVNVコーパスなど、もともとスタイルラベル等が利用可能な場合はこれがよいかも）

使い方

マージ方法の選択

マージの方法には4つの方法があります。

• 通常のマージ new = (1 - weight) * A + weight * B: AとBのモデルを指定して、要素ごとに比率を指定して混ぜる
  • 単純にAとBの二人の話し方や声音を混ぜたいとき
• 差分マージ new = A + weight * (B - C): AとBとCのモデルを指定して、「Bの要素からCの要素を引いたもの」をAに足す
  • 例えば、Bが「Cと同じ人だけど囁いているモデル」とすると、B - Cは「囁きを表すベクトル」だと思えるので、それをAに足すことで、Aの声のままで囁き声を出すモデルができたりする
  • 他にも活用例はいろいろありそう
• 重み付き和 new = a * A + b * B + c * C: AとBとCのモデルを指定して、各モデルの係数を指定して混ぜる
  • 例えばnew = A - B としておくと、結果としてできたモデルを別のモデルと「ヌルモデルの加算」で使うことで、差分マージが実現できる
  • 他にも何らかの活用法があるかもしれない
• ヌルモデルの加算 new = A + weight * B: AとBのモデルを指定して、Bのモデルに要素ごとに比率をかけたものをAに足す
  • Bのモデルは重み付き和などで C - D などとして作っている場合を想定している
  • 他にも何らかの活用法があるかもしれない

マージの手順

1. マージ元のモデルたちを選択（model_assetsフォルダの中から選ばれます）
2. マージ後のモデルの名前を入力
3. 指示に従って重みや係数を入力
4. 「モデルファイルのマージ」ボタンを押す (safetensorsファイルがマージされる)
5. 結果を簡易音声合成で確認
6. 必要に応じてスタイルベクトルのマージを行う

以上でマージは完了で、model_assets/マージ後のモデル名にマージ後のモデルが保存され、音声合成のときに使えます。

またmodel_asses/マージ後のモデル名/recipe.jsonには、マージの配合レシピが記録されます（推論にはいらないので配合メモ用です）。

一番下にマージしたモデルによる簡易的な音声合成機能もつけています。

注意

• 1.x系と2.x-JP-Extraのモデルマージは失敗するようです。
• 話者数が違うモデル同士はおそらくマージできません。