The GUI tool supports English. Please translate this page using your browser's translate function.
AnimateDiff prompt travel を使って、ローカル PC で簡単に動画を生成する環境です。
[ 概要 ] [ Colab版（無料アカ不可） ]
- プロンプトだけで FullHD のスムーズな長尺動画を生成
- セットアップ・2段アップスケール・フレームレート補間などが自動
- AnimateDiff prompt travel の生成設定ファイルを流用可能
- 利用者の人気つぶやき: @Yokohara_h @PhotogenicWeekE @cigmatari @hirochuu8 @ai_cute_girls @airi_wakui @hina_chocoboo13 @ai_cute_girls @aiko_ai_ai @ai_cute_girls @hina_chocoboo13
- 利用者の HowTo 記事: @samoHKP @towya_aillust 動画1 動画2 taziku 1 2 3 4 5 @nobu00740 @zono_0 @TakaWeekendProg @miyukin_sj
- 10/15: LoRA まとめ
- 10/14: 汎用 LoRA 3dSlider_v2, flat2
- 9/27: AnimateDiff prompt travel のふたつのアニメと新機能 prompt_fixed_ratio
- 9/26: 実はプロンプトをアニメーションしなくてもいいんです の きれいな動画
- 9/25: AnimateDiff prompt travelの更新比較 の きれいな動画
- 9/24: モデルへの VAE 組み込み有無比較 の きれいな動画
- 9/23: motion-moduleのmm_sd_v15_v2とmm-Stabilized_high比較 の FullHD 超え動画
- 9/21: FullHD 相当 KuronekoAkiba
- 9/18: nadenadesitai_v10, xxmix9realistic_v40, onigiriMix_v10, mistoonAnime_v20
- 利用者のつぶやき（気づいたもののみ）: @llrinnell @ai_gene_fumo7 @moshimur @mouriAIart @katarina7410 @safa_dayo @keythpiece @TakaWeekendProg @llrinnell @toki_mwc @towya_aillust @aicocoa982 @Lover57227277 @julajp @towya_aillust @PhotogenicWeekE @Aki_AI2023 @RAN_kimono_jp @MultusDim_AI @KO_ISZ @Neosuchiai @Masa_8823 @hanpen_ai @mogiken @PlayShingo @toki_mwc @AIbijo202304 @AudioReplayApp @toki_mwc @Masa_8823 @mouriAIart @taziku_co @ai_succubus @nanaynyorai @towya_aillust @AiMu_Tech @ai_nontan_room @KOR_jiyugiga @aiojisan1234 @Lover57227277 @AI_Lilith @foxyy4i @a_i_art_girl @towya_aillust @yimamura @ai_nontan_room @yimamura @eiai_picfactory @zAIwrd_SFW @zono_0 @towya_aillust @acloza_bot @zono_0 @shinshin86 @vvf162c1 @vvf162c1 @mouriAIart @aicocoa982 @tiyorin0924 @katarina7410 @FUKUAILabo @Rakhsh_ @julajp @PlayShingo @ezakiairi @mouriAIart @kura_starwing @777_shinta @Masa_8823 @roiyaruRIZ @aikoujp @PlayShingo @ryoheiplus @iriomotebox @koichi_business @Neosuchiai @sky252510 @TakaWeekendProg
- 2023/10/20
- モーション LoRA に対応しました。
ダウンロードメニューのモーション LoRAからダウンロードできます。- LoRAと似たように
M: v2_lora_ZoomIn: 1.0とプロンプトに記載すると使えます。
- 動画の出力先にファイルも保存するようにしました。
ファイルメニューに新規作成と終了を追加しました。- 変更が未保存の場合に確認するようにしました。
- モーション LoRA に対応しました。
- 2023/10/17
- 簡単プロンプトアニメのエディタの状態を保存して、読み込めるようにしました。
- 2023/10/15
- ControlNet の tile, canny, depth, inpaint, ip2p, lineart, lineart_anime, mlsd, normalbae, openpose, scribble, seg, shuffle, softedge に対応しました。
- 2023/10/14
ダウンロードメニューのLoRAに汎用的な LoRA を追加しました。設定メニューに現在のプロンプトを起動時のプロンプトにすると現在の設定を起動時の設定にするとライト/ダークモードの切り替え（再起動後に適用）を追加しました。
- 2023/10/12
- プロンプト入力欄で
元に戻す(Ctrl+Z),やり直し(Ctrl+Y)を使えるようにしました。 ダウンロードメニューの項目を充実しました。
- プロンプト入力欄で
- 2023/10/10
ツールメニューの使えない LoRA を使えるように変換でこれまで使えなかった LoRA が使える場合があります。アニメメニューのアップスケールで、アニメ生成とアップスケールを別々に実行できます。- 生成と同じオプションでアプスケする
生成時の設定で初回アップスケールと、エディタの設定を適用して色々変更できる現在の設定で初回アップスケールです。 - 黒画面への対処や、モデルやLoRAパラメータを変えてのアップスケールができます。
- これに合わせてタイルアップスケールの強度と開始と終了を設定できるようにしました。
- 生成と同じオプションでアプスケする
IPアダプタで生成時に画像をプロンプトとして使えます。- プロンプトとして使いたい画像をフォルダにまとめ、ファイル名で 010.png などとフレーム数を指定する必要があります。
ダウンロードからモデルやモーションモジュールなどをダウンロードできます。- おすすめのものがあれば教えてください。
- 2023/10/09
- ローカル版エディタをα版としてひっそり公開しました。
EasyPromptAnimeEditor.batで起動します。- α版なのでドキュメントはまだありません。
- Colab 版エディタは廃止予定です。
- セットアップの仕組みを大幅に変更して、最初にダウンロードするファイルの量を大幅に減らしました。
- ローカル版エディタの「ダウンロード」メニューでダウンロードできます。
- これまでインストールできていたのに、再インストールしても動かない場合は知らせてください。
- ローカル版エディタをα版としてひっそり公開しました。
- 2023/09/29
- フォルダ内の生成設定ファイルで一通り生成する
GenerateFolder.batと、これを連続生成し続けるGenerateFolderForever.batを追加しました。
- フォルダ内の生成設定ファイルで一通り生成する
- 2023/09/28
- 昨日の「インストール時のエラーチェックを強化しました。」に問題があり、インストールできなかった不具合を修正しました。
- Setup-EasyPromptAnime.bat を再ダウンロードして、インストールしてください。
- animatediff のコマンドでエラーが発生した際に、処理を終了するようにしました。
- GenerateForever.exe も同様に、処理を終了するようにしました。
- 昨日の「インストール時のエラーチェックを強化しました。」に問題があり、インストールできなかった不具合を修正しました。
- 2023/09/27
- インストール時のエラーチェックを強化しました。
- 0~9時に生成した際に、動画ファイル名の時間部分をゼロパディングするようにしました。
- モデルファイルなどのシンボリックリンクを削除しないようにしました。
- 2023/09/26
- サンプルに『美味しいヤミー感謝感謝』の
sample/Oiyami.batを追加しました。
- サンプルに『美味しいヤミー感謝感謝』の
- 2023/09/25
- FFmpeg のインストールに失敗する不具合を修正しました。
Update.batを実行すると修正します。
- FFmpeg のインストールに失敗する不具合を修正しました。
- 2023/09/24
- 今回の更新では
Update.batを 2回！実行してください（Update.batを更新したため）。 - AnimateDiff prompt travel の更新に対応しました。
- AnimateDiff 用にモデルを修正する
FixCheckpoint.batを追加しました。
が、手元で利用しているモデルは修正不要でした。
- AnimateDiff 用にモデルを修正する
- 生成した動画のサイズを低減する
Mp4Crf(26|32|38)を追加しました。 - 生成した動画から X(Twitter) 投稿用の動画を生成する
XMp4*.batを追加しました。
- 今回の更新では
- 2023/09/23
- 生成する動画のデフォルトの FPS を、様々なサービスとの互換性の観点から 40FPS にしました。
- 生成設定ファイル名に
-D3を付け足すと、以前と同様に 80FPS になります。 - FPS 指定の詳細は ファイル名オプション一覧 や
FpsX4.batの説明を参照してください。
- 生成設定ファイル名に
- 生成した mp4 ファイル名に、日時のプレフィックスを追加するようにしました。
- 同一シードで生成しても、mp4 ファイルを上書きしなくなります。
- 生成する動画のデフォルトの FPS を、様々なサービスとの互換性の観点から 40FPS にしました。
- 2023/09/22
- motion-module に mm-Stabilized_high.pth と mm-Stabilized_mid.pth を追加しました。
Update.batを実行するとダウンロードします。
- 同一シードで同じフォルダに再出力した際に、正しくフレーム補間されない不具合を修正しました。
- インストール済みの方は
Update.batを実行してください。
- インストール済みの方は
- インストーラーで
C:\Windows\System32にパスが通っていない場合にエラー扱いにしました。
- motion-module に mm-Stabilized_high.pth と mm-Stabilized_mid.pth を追加しました。
- 2023/09/21
- 公開
- Windows 10 以降（Update済み、管理者権限あり）の PC で、/Windows/System32 にパスが通っている
- 最近の NVIDIA Geforce RTX VRAM 8BG 以上
- パスを通した Python 3.10.6 と Git for Windows
ウィルスチェックソフトの Avast の保護が有効だと、インストールに失敗します。
初回の動画生成の成功まで一時的に保護を無効にするか、他のウィルスチェックソフトをご利用ください。
Stable Diffusion web UI や ComfyUI は終了した状態で、セットアップしてください。
- 動作環境の Python 3.10.6 を導入していない場合は、Python のインストール をします。
- 動作環境の Git for Windows を導入していない場合は、Git for Windows のインストール をします。
- Civitai がダウンしていないか確認します。
- Setup-EasyPromptAnime.bat を 右クリックから「名前をつけてリンク先を保存…」 でインストール先のフォルダ（英数字のみの浅いパス、 スペース不可）にダウンロードして実行します。
- 「WindowsによってPCが保護されました」と表示されたら、「詳細表示」から「実行」します。
- インストールが終わるとローカルエディタ
EasyPromptAnimeEditor.batが立ち上がります。インストールが終わると、Google Colabでプロンプト編集用の「簡単プロンプトアニメエディタ」が立ち上がります。
- セットアップや更新で
curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x00000000) - 失効の関数は証明書の失効を確認 できませんでした。といったエラーが発生する- ネットワークのセキュリティチェックに失敗しています。
- アンチウィルスソフトの Avast 有効時に発生し、無効にしたら問題なくインストールできたとの事例報告がありました。
- 動画の生成が一晩経っても終わらない、サンプル（
sample/UpscaleGacha.bat、RTX 3060 で約 15分）の生成に長い時間が掛かる- AI 画像生成の VRAM オフロード問題を踏んでいる可能性がありますので、グラフィックスドライバのバージョンを確認してください。
- セットアップでダウンロードされるモデルで動画を正常に生成できない
- モデルのダウンロードに失敗している場合がありますので、
animatediff-cli-prompt-travel/data/models/sd/にある該当ファイルを削除し、src/Setup.batで再ダウンロードしてください。
- モデルのダウンロードに失敗している場合がありますので、
簡単プロンプトアニメを更新するには、Update.bat を実行します。
12秒のアニメをとりあえず生成してみたい方は、sample/UpscaleGacha.bat を実行してみてください(RTX 3060 で約 15分)。
OpenClabEditor.batで「簡単プロンプトアニメエディタ」を開きます。- ひとつめの
▶を押してプロンプト入力欄を表示し、プロンプトやパラメータを編集して、ふたつめの▶を押すと動画生成用の生成設定ファイル (*.json) をダウンロードします。 - 生成設定ファイルをインストール先 ('Setup-EasyPromptAnime.bat' を実行したフォルダ)にある
Generate.batにドラッグ＆ドロップすると、生成設定ファイルの場所に動画を生成します。- 生成した動画とフレームレート補間した動画と再エンコードした動画を生成します。
- アップスケールを無効にしたり、アップスケールのサイズを下げたりすることで効率的にシードガチャができます。
- プロンプトをざっくり詰める段階なら、最初の生成解像度を下げたり、短時間にして先頭付近のキーフレームで検証するのも手です。
- mp4 ファイル名先頭の
日時(MMDD_HHMM_SS)-数値の数値部分がシードです。 animatediff-cli-prompt-travel/(output|upscaled|refine)/以下にあるprompt.jsonでも確認できます。
以下のいずれかの手順で、改善するかもしれません。
FixCheckpoint.batでモデルを修正します。モデルが書き換わる可能性があります。- 生成設定ファイルのファイル名に
-Vを付け足します（改善報告あり）。 - モデルの VAE を差し替えます。
- 生成設定ファイルのファイル名に
-Xを付け足します（未検証、-V,-v,-xとの併用も）。 - 別のモデルを使います。
「簡単プロンプトアニメエディタ」の初期値や選択肢を変えたい
- Colab のメニュー
ファイル - ドライブにコピーを保存して、一番下のコードを表示から該当部分を編集します。
FixCheckpoint.batでモデルを修正します。モデルが書き換わる可能性があります。animatediff-cli-prompt-travel/data/models/sd/にモデルを置きます。- [！注意！] stable-diffusion-model-toolkit などで、モデルに VAE を埋め込んでください。
モデルに VAE を埋め込まないと、このようになる 場合があります。
- [！注意！] stable-diffusion-model-toolkit などで、モデルに VAE を埋め込んでください。
- Colab ソースの
model_name = "nadenadesitai_v10" # @param [...]の...を書き換えます。
AnimateDiff とモデルに相性があり、黒画像になる、あまりアニメーションしない、といった場合があります。
stable-diffusion-model-toolkit によるモデルへの VAE 埋め込み方法
- Stable Diffusion web UI に stable-diffusion-model-toolkit をインストールします。
- Stable Diffusion web UI の
Toolkitタブでリフレッシュしてから入力で VAE を埋め込むモデルを選択して読み込みます。 高度な設定に移り、Component - ClassからVAE-v1を選択します。実行 - ファイルで埋め込む VAE を選択してImportします。名前で VAE を埋め込んだモデルのファイル名を指定して保存で、モデルフォルダに VAE を埋め込んだモデルが保存されます。animatediff-cli-prompt-travel/data/models/sd/に VAE を埋め込んだモデルを移動します。
animatediff-cli-prompt-travel/data/models/motion-module/にモーションモジュールを置きます。- Colab ソースの
motion_module = "mm_sd_v15_v2.ckpt" # @param [...]の...を書き換えます。
animatediff-cli-prompt-travel/data/lora/に LoRA を置きます。- 使える LoRA は通常の LierLa 形式で、C3Lier(Locon) 以降は使えないっぽいです。
- LoRA の読み込みは、プロンプトエディタの
L:で始める行で指定します。
animatediff-cli-prompt-travel/data/embeddings/に TI を置きます。
- AnimateDiff prompt travel がそのまま動作していますので、生成設定ファイルを手書きすれば使えます。
- そのうち対応するかも？
animatediff-cli-prompt-travel/wildcards/にワイルドカードを置きます。
- context を半分にしていますが、落ちますね。
- 初回のアップスケールで解像度を抑えつつ Refine を使用、とかもできましたが、重い印象でした。
- まずは WizTree で状況を確認してください。それでもストレージ容量が足りなかったら、買ってください。
- ありません。「Colab版簡単プロンプトアニメ」のコードを流用しただけなので、利用者が多そうだったらローカルエディタを用意する、かも。
「簡単プロンプトアニメエディタ」を開きます。
生成設定ファイルをドラッグ＆ドロップすると、動画を生成します。
生成設定ファイルをドラッグ＆ドロップすると、動画を生成し続けます。終了時は Ctrl+C で止めてください。
生成設定ファイルが入っているフォルダをドラッグ＆ドロップすると、生成設定ファイルの数だけ動画を生成します。
生成設定ファイルが入っているフォルダをドラッグ＆ドロップすると、生成設定ファイルの数だけ動画を生成し続けます。終了時は Ctrl+C で止めてください。
簡単プロンプトアニメと AnimateDiff prompt travel を更新します。
モデルをドラッグ＆ドロップすると、モデルに問題があれば AnimateDiff 用に修正します。モデルが書き換わったかどうかは更新日時で確認してください。
mp4 をドラッグ＆ドロップすると、RIFE で FPS を4倍にします。サイズが大きくなるので再エンコード版も生成します。
- 第 2 引数に RIFE による中割りの分割回数（FPSの倍増を何回実施するかの）を指定できます。FPSが 1 なら 2倍、2 なら 4倍、3 なら 8倍、4 なら 16倍になります。未指定や 0 なら 2 になります。
- 第 3 引数に RIFE の分割後の FPS を指定できます。 この FPS 指定では画像の枚数を変更せずに FPS を適用しますので、アニメーションの速度と長さが変わります。 1秒の 10FPS の動画を RIFE で 4倍にして 40枚の画像がある状態で、第三引数で 60FPS を指定すると、アニメーションが早くなり 0.66秒で再生が終わります。逆に 8倍で80枚にして 60FPS を指定した場合は、ゆっくり再生されて 1.33秒で再生が終わります。0 なら未指定です。
- 第 4 引数で FFmpeg による再エンコード時の FPS を指定できます。再生速度や動画の長さは変わりません。0 なら未指定です。
- 第 5 引数で FFmpeg による再エンコード時の crf を指定できます。未指定や 0 なら 20 になります。
Tile アップスケールは mp4 を生成しませんが、animatediff-cli-prompt-travel\upscaled にある連番 png が入っているフォルダをドラッグ＆ドロップすると、mp4 を生成します。
ストレージ容量を消費しがちな animatediff-cli-prompt-travel/ の output/*/, upscaled/*/, refine/*/ を削除します。
mp4 をドラッグ＆ドロップすると、Crf26 で 1/2、Crf32 で 1/4、Crf38 で 1/8 ぐらいのサイズの mp4 に変換します。
mp4 をドラッグ＆ドロップすると X(Twitter) アップロード用の動画(40FPS, 25Mbps)を生成します。
アップロード時に再エンコードされる前提ですので、省サイズではありません。
- Xで動画を共有および視聴する方法
- 動画の大きさが W1920 x H1200 か W1200 x H1900 に収まらない場合は、
XMp4W1920.bat,XMp4W1200.bat,XMp4H1900.bat,XMp4H1200.batを使用して、W1920 x H1200 か W1200 x H1900 に収まるように縮小します。 - mp4 ファイル名の末尾が
*-D2e.mp4な再エンコード後の mp4 でなく、*-D2.mp4な再エンコード前の mp4 から生成したほうが、品質が高くなります。
AnimateDiff prompt travel 利用者向け情報
既存のコンフィグファイルのファイル名にオプションを指定することで、Generate.bat が色々やってくれます。
ハイフン(-)は引数の指定に使用するため、ファイル名には使えません。
例） Config-L30-C16-W448-H544-T1088-T1632.json を Generate.bat にドロップ
animediff generate -L 30 -C 16 -W 448 -H544animediff tile-upscale -H 1088から FFmpeg で mp4 生成-Rならanimediff refine -C (context / 2)
animediff tile-upscale -H 1632から FFmpeg で mp4 生成- RIFE でフレーム補間
| キー | デフォルト値 | 説明 |
|---|---|---|
| L | 30 | 動画のフレーム総数を指定します。 |
| C | 16 | AnimeDiffのコンテキスト長を指定します。 |
| W | 384 | 動画の幅を指定します。 |
| H | 512 | 動画の高さを指定します。 |
| T | - | Tile アップスケール後の動画の高さを指定します。2回指定できます。 |
| R | - | Refine アップスケール後の動画の高さを指定します。2回指定できます。 |
| D | 2 | RIFE による中割りの分割回数を指定します。FpsX4.bat の第 2 引数説明参照。 |
| I | 0 | RIFE による中割り後の FPS を指定します。FpsX4.bat の第 3 引数説明参照。 |
| F | 0 | FFmpeg で mp4 に変換する際の FPS を指定します。FpsX4.bat の第 4 引数説明参照。 |
| M | 20 | FFmpeg で mp4 に変換する際の crf を指定します。FpsX4.bat の第 5 引数説明参照。 |
| U | 10 | Tile アップスケール後の画像を MP4 にする際のFPSを指定します。 |
| v | - | 動画の生成で half-vae を有効にします。 |
| V | - | 動画のアップスケールで half-vae を有効にします。 |
| x | - | 動画の生成で xFormers を有効にします。 |
| X | - | 動画のアップスケールで xFormers を有効にします。 |
- AnimateDiff prompt travel
- Real-Time Intermediate Flow Estimation for Video Frame Interpolation
- sd-scripts
- Codex FFmpeg
このリポジトリのスクリプトやドキュメントは、MIT Licenseです。
This software is released under the MIT License, see LICENSE.txt.