sbv2関連の質問や雑談

[Mofa-Xingche]

@Googlefan256
すみません失礼します
ここでこのtukumijimaさんが色々言っていますが、これは、onnxのGPUのsbv2が、pip install style_bert_vits2してインストールできるライブラリで、もう使えるようになりました。

という事なのでしょうか？

litagin02/Style-Bert-VITS2#165

[Googlefan256]

こちらのプロジェクトは関係ありませんが、マージされたらそういう認識であっているかと思われます。
なお、既にこちらのプロジェクトはGUI版があります。

[Mofa-Xingche]

すみませんありがとうございます。GUI版みました.。

rustはpythonよりも速いと聞きました
"pythonのonnxのgpuのsbv2音声合成”よりも、"rustのonnxのgpuのsbv2音声合成”の方が1.5倍以上処理が速かったり軽かったりするんでしょうか？必要なGPUメモリも70%ぐらいに少なくできたりするのでしょうか

[Googlefan256]

中身は同じonnxruntimeなので、GPU使用量は一切変わりません。
CPUメモリ使用量、前処理の速度、インストールサイズが圧倒的に小さいのがRustのメリットです。
例としてRustで構成したGUI版は60MBしか本体のサイズがありません。

[Mofa-Xingche]

すみませんありがとうございます。

Rustで構成したGUI版は60MBしか本体のサイズがありません。　うわ凄いですね

えとそれと
onnx-GPUの仕様見てみたのですが、onnx-gpuってcudaがインストールされているPCじゃないと動かないみたいですね
onnxGPUアプリを配布しても動かない人沢山出るのでしょうか？？音声変換で速度が求められるのでGPUonnxは必須です＞＜
directx12インストールされてればcudaなくてもいいそうですが、
cudaがインストールされていない一般人のPCでも、Directx12は皆入っててdirectMLがあるからonnxGPU動くのでしょうか
sbv2の.onnxモデルファイルってデフォルトでDirectMLでも動くのでしょうか

[Mofa-Xingche]

(すみません自己解決しました メモ・cuda入れてない人でも windows10には2015年からdirectx12が入っているので directmlでうごっくから平気)

[Mofa-Xingche]

@Googlefan256 .safetensorモデルの名前、話者名、スタイル名を後から変更できますか
上の三つの要素の中で、変更できないものはありますか？

[Googlefan256]

config.jsonの中にすべて書かれているのでonnx変換前に弄ることで反映されます。
safetensorsの中にはモデルの重みしか含まれておりません。

[Mofa-Xingche]

すみませんありがとうございます。
style_vectors.npyとか、モデルには、スタイル名や話者名の情報は入って無くて、話者番号/スタイル番号のみ認識してるから、configに書いてある話者名やスタイル名は自由に変更していいってことでしょうか

[Googlefan256]

そうですね。

[Mofa-Xingche]

すみません失礼します
@Googlefan256 https://pypi.org/project/sbv2-bindings/0.2.0a4/#sbv2_bindings-0.2.0a4-cp312-none-win_amd64.whl
の　!pip install sbv2_bindings(もしくはrust sbv2_core部分)　において、
１　onnxruntime cpuしかない人対応用
２　onnxruntime-directml; gpuがある人用
この二つでwindowsのcpu onnxとGPU onnxのみの最小の音声変換環境をsbv2で作ろうと思うのですが(配布かわいいアプリ作成中)
pip ライブラり　sbv2_bindings　には、
１　onnxruntime
２　onnxruntime-directml;
のふたつは入っていますか？
torchは入れると torch.binとか凄く容量が大きいのが入ってきて容量がデカくなって申し訳ないので使いたくありません
fastserverとかgradioも要りません単純に感情スタイルプリセット指定で音声合成できる感じを目指しています