今回はH3をもっと速くできへんか試してみるでー！
また待ち時間に耐えられなくなったのか。
だって動画生成、長いねん！
ちょっと試したいだけでも何分も待たされるんやで？
ちょっと試したいだけでも何分も待たされるんやで？
動画生成AIだから仕方ない部分もあるけどな。
で、今回は何を試したんだ？
で、今回は何を試したんだ？
まずは高速化LoRAや！
いきなり正攻法っぽいな。
これを使うと、確かに生成時間はかなり短くなったで。
じゃあ解決じゃないか。
ところがなー。
音声がダメになった。
解決してねえじゃねえか。
今回使った環境との組み合わせでは、映像は速く作れるようになったんやけど、音声がまともに使えへんかったんよ。
だったらLoRAを使わずに、本体の設定で軽くできないか？
そこで次に目を付けたのがStepsや！
H3のデフォルトは20 Stepsだったな。
せや。
これ、もっと減らしても動くんちゃうか？と思って試してみた。
これ、もっと減らしても動くんちゃうか？と思って試してみた。
H3のStepsを減らしてみる
今回の共通条件はこんな感じやで。
| GPU | GeForce RTX 4060 Ti 8GB |
|---|---|
| メモリ | 64GB |
| 生成サイズ | 約0.4MP |
| フレームレート | 24fps |
| 動画時間 | 10秒 |
今回は640×640と864×480の2種類で試したんだな。
そうや。
それぞれStepsを16、14、12、10、8まで落としてみたで。
それぞれStepsを16、14、12、10、8まで落としてみたで。
| 生成サイズ | 16 Steps | 14 Steps | 12 Steps | 10 Steps | 8 Steps |
|---|---|---|---|---|---|
| 640×640 | ○ | ○ | × | × | × |
| 864×480 | ○ | ○ | × | × | × |
○：音声を含めて普通に視聴できた
×：音声が大きく崩れ、水中で話しているような状態になった
結果は見事に同じやった。
16と14は大丈夫。
12以下になると音声が崩れた、と。
12以下になると音声が崩れた、と。
そう。
映像だけ見たら12とか8でも「意外といけるやん？」って感じやったんやけどな。
映像だけ見たら12とか8でも「意外といけるやん？」って感じやったんやけどな。
音を聞いた瞬間にアウトだったわけか。
ゴボゴボゴボ……って感じや。
水中撮影じゃないんだぞ。
ただし、ここは注意な。
毎回必ず14と12の間でこうなる、とまでは言えへんと思う。
毎回必ず14と12の間でこうなる、とまでは言えへんと思う。
プロンプトやSeed、ワークフローなんかでも変わる可能性があるから、今回の結果は目安程度ってことだな。
せやね。
少なくとも今回の環境では、音声まで使うなら14 Stepsあたりが下限やった。
少なくとも今回の環境では、音声まで使うなら14 Stepsあたりが下限やった。
映像だけ低Stepsで作って、声を後から入れればいい？
でもここでウチは思ったんや。
嫌な予感がするな。
映像が使えるなら、8 Stepsで作って声だけ後から入れ替えたらええやん♪
そういえば音声生成AIも用意してたな。
VOICEVOXとかGPT-SoVITSとかも試せるようにしたしな。
動画を速く作って、音声だけ高品質なものに差し替える。
動画を速く作って、音声だけ高品質なものに差し替える。
理屈だけ聞けばかなり合理的だな。
せやろ？
……でも、なんか合わへんねん。
何が？
演技。
H3は「声を付けている」だけではなかった
H3って、台詞を書いたらその内容に合わせてキャラクターの表情とか動きも変えてくれるねん。
確かに、驚く台詞なら驚いたような動きをしたり、笑う台詞なら表情もそれっぽくなるな。
そうそう。
声の強さとか間だけやなくて、映像側も一緒に演技してる感じなんよ。
声の強さとか間だけやなくて、映像側も一緒に演技してる感じなんよ。
そこへ別のAIで作った声だけ乗せると、その演技と合わなくなるのか。
せやねん。
映像ではめっちゃ必死にしゃべってるのに、差し替えた声だけ妙に落ち着いてたりな。
映像ではめっちゃ必死にしゃべってるのに、差し替えた声だけ妙に落ち着いてたりな。
声優だけ別の作品にいるみたいになるな。
それや。
最初はH3が「映像を作って、その上に声を付けてる」くらいに思ってたんやけどな。
実際には、台詞も含めてシーン全体を作っているように見える、と。
今回試してみて、そこが一番おもろかったところかもしれんな。
結局、どこまでStepsを減らせる？
じゃあ今回の結論をまとめると？
まず、デフォルトの20 Stepsから減らすこと自体はできる。
今回の環境では14 Stepsまでなら、映像も音声も普通に使えた。
12以下でも映像自体は作れるが、音声が崩れる可能性が高かった。
だから音声込みでH3を使うなら、単純にStepsを限界まで削ればいいって話でもなさそうやわ。
高速LoRAでも音声に問題が出て、Stepsを削りすぎても音声が壊れる。
じゃあ外部音声に差し替えればいいかと思ったら、今度は映像の演技と合わない。
じゃあ外部音声に差し替えればいいかと思ったら、今度は映像の演技と合わない。
速くするだけやったのに、なんでこんな話になったんやろな？
いつものことだろ。
というわけで今回の実験では、
H3は14 Steps前後が速度と品質の妥協点になりそう、という結果やった。
H3は14 Steps前後が速度と品質の妥協点になりそう、という結果やった。
ただしこれは今回の環境での結果やから、他の環境でも同じになるとは限らんでー。
自分の環境で少しずつ下げながら確認するのが良さそうだな。
そしてもう一個。
H3の声が気に入らんからって、簡単に交換できると思ったらあかん！
そこまで映像と一緒に演技してるとは思わなかったな。
動画AI、思ってたより芸達者やったわ♪
その芸達者さのせいで高速化に苦労してるんだけどな。
今回のまとめ
| 方法 | 結果 | 今回の印象 |
|---|---|---|
| デフォルト20 Steps | 映像・音声とも安定 | 品質優先。ただし生成時間は長め |
| 14 Steps | 映像・音声とも視聴可能 | 今回の実用候補 |
| 12 Steps以下 | 映像は見られるが、音声が大きく崩れた | 音声込みでの利用は難しい |
| 高速化LoRA | 生成速度は改善したが、今回の構成では音声に問題が発生 | 組み合わせや設定の確認が必要 |
| 外部音声への差し替え | 音声自体は作れるが、H3の映像演技と合わない場合がある | 単純な音声交換では解決しにくい |
※今回の結果はRTX 4060 Ti 8GB / メモリ64GB環境での検証結果です。
※Stepsによる品質や音声の変化は、Seed・プロンプト・ワークフロー・モデル構成などによって変わる可能性があります。