日々の壁打ち：ComfyUIのワークフローを工夫することは、ただの自己満足なのか、それとも意味があることなのか、視覚化出来る方法を考えてみた 上のオリジナルのチェックポイント配布先の説明を見ると、以下のように書いてあり、イラストレーションの表現に特化したモデルであることがわかる。 Illustrious-XLは、包括的な Danbooru2023 データセットとそのバリエーションに基づいて微調整された強力な生成モデル シリーズです。データセットから派生したさまざまなキャラクター デザイン、スタイル、芸術的知識が含まれており、クリエイティブで芸術的な AI 生成タスクに適しています。 https://huggingface.co/OnomaAIResearch/Illustrious-xl-early-release-v0IllustriousXLは、『公正なパブリック AI ライセンスの下
The most powerful open source node-based application for creating images, videos, and audio with GenAI. The most powerful open source node-based application for creating images, videos, and audio with GenAI. The most powerful open source node-based application for creating images, videos, and audio with GenAI.
以下は各ノードの簡単な説明です。 CogVideoモデルの読み込み初回のワークフローの実行時に「model」で設定されているI2Vモデルが自動でダウンロードされます。10GBを超えるサイズがあります。 「fp8_transformer」を「enabled」に設定すると、FP8で推論します。デフォルトだと16GB超のVRAM消費ですが、FP8だと12GB強まで抑えられるようです。生成の質はわずかに低下、生成速度は変わりません。 「fp8_transformer」を「fastmode」に設定すると、生成の質がそこそこ低下する一方、生成速度が向上します。RTX 40XX以降のGPUで使える設定です。 「compile」は連続生成を高速化するためのオプションです。手元の環境では使えなかったので試せていません。 【9/23追記】Q4-GGUF版のモデルが利用可能になりました。推論時のVRAM消費量は
ComfyUI Examples This repo contains examples of what is achievable with ComfyUI. All the images in this repo contain metadata which means they can be loaded into ComfyUI with the Load button (or dragged onto the window) to get the full workflow that was used to create the image. A good place to start if you have no idea how any of this works is the: ComfyUI Basic Tutorial VN: All the art is made w
前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com
趣旨こんにちはakkyossです。 SDXL0.9のおかげでComfyUIが脚光を浴びているのでおすすめカスタムノードを紹介します。 ComfyUIは導入や環境設定に関して割と初心者というか、自分で解決出来ない人はお断り、という空気はあるはありますが独自のワークフローを構築出来る、非常に面白いツールなので強くおすすめします。 こんな感じで色んな機能を同じ画面内に置いておくことが出来るのもいいところ。 SD1.5のワークフローとSDXLのワークフローも同じ画面内に置ける。導入※StableDiffusionWebUI導入済前提です（cudaとかその辺は対応済の意） 簡単に導入したい場合は以下れれみーみさんのNote見てください。 手動でインストールする場合は以下の手順になります。 Windows環境、Nvidiaグラボ環境のみです。それ以外は知りません。 管理者権限でターミナル起動。 cd
A1111では、LoRAはトリガーワードをプロンプトに追加するだけで使えましたが、ComfyUIでは使用したいLoRAの数だけノードを接続する必要があります。 LyCORIS, LoHa, LoKr, LoConなど、全てこの方法で使用できます。 ロードローラーじゃないよComfyUI/model/lorasにLoRAファイル（LyCORIS等含む）を投入 （A1111ではstable-diffusion-webui/models/Loraなどのフォルダにあるはず） Add Node > loader > Load LoRAを選択 Load LoRAノードは、Load Checkpointの後段に配置します LoRAはモデルに対するパラメーターの低ランク適応なので、モデルの直後に接続しましょう。 flat2をマイナス適用した例複数使用する場合は直列に繋ぎましょう。 hanmeは最高のLoR
![[ComfyUI]LoRAを使う｜saip(さいぴ)](https://cdn-ak-scissors.b.st-hatena.com/image/square/de681561c8f08fbe9506d293a6a992877fd64912/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F115887281%2Frectangle_large_type_2_6008882407c7dddfd0ffd48a65b4cb3d.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
Download motion modules. You will need at least 1. Different modules produce different results. Original models mm_sd_v14, mm_sd_v15, mm_sd_v15_v2, v3_sd15_mm: HuggingFace | Google Drive | CivitAI Stabilized finetunes of mm_sd_v14, mm-Stabilized_mid and mm-Stabilized_high, by manshoety: HuggingFace Finetunes of mm_sd_v15_v2, mm-p_0.5.pth and mm-p_0.75.pth, by manshoety: HuggingFace Higher resoluti
この記事は、「AnimateDiffをComfyUI環境で実現する。簡単ショートムービーを作る」に続く、KosinkadinkさんのComfyUI-AnimateDiff-Evolved（AnimateDiff for ComfyUI）を使った、AnimateDiffを使ったショートムービー制作のやり方の紹介です。今回は、ControlNetを使うやり方を紹介します。ControlNetと組み合わせることで、制御できることの幅が一気に広がります。 AnimateDiff for ComfyUIは、ControlNetに対応しています。ただし、使い方に少し癖があり、公式ページではあまり詳しく解説が行われていないため、引っかかりやすい状態になっています。この記事は、公式ページを補完する目的で書いています。 Control Net付きのサンプルワークフロー サンプルのワークフローを含んだ画像がい
ComfyUIのカスタムノードを雑多に紹介する記事です。表題にはおすすめとか書いていますが、ComfyUI自体が複雑すぎて私の理解が追いついていない面もあるため、なんか一先ず入れておけば良さげかも、というようなカスタムノードも紹介しています。 随時更新していく予定です。 更新履歴 2023/08/20 公開 ComfyUIの概要や導入方法・使い方に関してはこちらの記事で解説しています。 あわせて読みたい Stable Diffusion – ComfyUIの概要と導入方法・使い方 SDXLのモデルを試すのに、執筆時点のAutomatic1111 (v1.5.1) ではネガティブTIが使えなかったりして不便だったので、いい機会だとComfyUIを触ってみました。StableSwarm… ComfyUI Manager GitHub GitHub – ltdrdata/ComfyUI-Mana
Stable Diffusion の web UI でありバックエンドでもある ComfyUI について、主にアーティスト向けに、内部動作や背景にある理論も含めて感覚的に捉えられるように解説していきます。 (充実しつつある公式 README や公式サンプルに書いてあることは、多分このサイトでは説明しません) 重要な外部リンク ComfyUI 公式リポジトリ ComfyUI 公式サンプル ComfyUI 公式チュートリアル (未完らしい) 有志によるマニュアル (ほぼ準公式) 最近の主な更新 公式に取り込まれた: ConditioningConcat 新ノード: ConditioningZeroOut SDXL 関連のノード追加: CLIPTextEncodeSDXL、CLIPTextEncodeSDXLRefiner モデルの保存が出来るようになった: CheckpointSave SDX
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
