今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力
マスク指定が見やすいように、元画像に説明用の色を付けています。 実際に試す際には色を付ける必要はありません。 奥にあるモノから生成するのが基本ですので、本来はまず背景を用意するのが推奨です。 実際、きららジャンプ では先に背景を生成していました。 シンプルな背景を好まれる方も多いでしょうし、今回はとりあえずグラデーションを置いておきつつ、あとから背景を差し替えてみます（色化けが発生しました）。 高速な安定版として Forge を使用 しています。 モデルは ebara_pony_2.1 です。 Download/Model/ebara_pony.bat でダウンロードできます。 背景のみ WAI-REALMIX を利用しています。 forge は Hyper-SD <lora:Hyper-SDXL-8steps-lora:1> を使って、CFGスケール を 1.0 にすると大幅に高速化しま
Thank you for support my work. https://www.buymeacoffee.com/bdsqlsz Support list will show in main page. Support List DiamondShark Yashamon t4ggno Someone kgmkm_mkgm yacong Pre-trained models and output samples of ControlNet-LLLite form bdsqlsz Inference with ComfyUI: https://github.com/kohya-ss/ControlNet-LLLite-ComfyUI Not Controlnet Nodes! For 1111's Web UI, sd-webui-controlnet extension suppor
０：ControlNetとは ControlNet(コントロールネット)とは画像などを下地にしてポーズや構図、画像の雰囲気を抽出し、画像の生成時に参照する仕組みです。この時利用する仕組みのことをプリプロセッサ(preprocessor)といいます。 下の画像は人間を棒人間のような線で抽出するopenposeの例です。このようにポーズをまねたりすることができます。 コントロールネットopenposeの例１：コントロールネットの導入 まずは、SDWebUIから「拡張機能」を選択して「URLからインストール」を選択してください。「拡張機能のリポジトリのURL」に以下のURLをコピー＆ペーストしてください。あとはインストールを押すだけです。 https://github.com/Mikubill/sd-webui-controlnet インストールが完了したら「インストール済み」タブに戻って「適用
タイトル通りの内容です 整備はしたいのですがまだまだ自分向けという感じのコードです WebUI1.6で動作を確認しています 今回は、hook.pyとcontrolnet.pyを修正しています。 また、リポジトリのTOPにあるCN_AD.jsonをトップディレクトリ(webui-user.batのあるところ) に置きます。 { "_is_CN_AD_on": 1, "input_images_pass": "imput_images", "input_images_number": 16 }_is_CN_AD_on：このモードを使用するかどうか input_images_pass：連番画像を入れるパスの名前 input_images_number：画像の枚数（フレーム数と同じ枚数にしか対応していません） 設定例設定は普通にUI上で行います。まずは同じ設定で動くか試してください。 主な注意点は
Stable Diffusionの画像生成を画像によって条件づける方法をまとめていきます。といっても実装とかを全部見たわけではないので、多少間違っている部分もあるかもしれませんが、まあイメージはあってるっしょ。 手法の分類 画像の情報をUNetのどこに与えるかによって手法を分類します。とりあえず5つに分けてみました Cross Attentionに与える：Prompt Free Diffusion, PFG, IP-Adapter Self Attentionに与える：Reference only, FABRIC Time embeddingに与える：UnCLIP, Revision その他の場所に与える：ControlNet, GLIGEN, T2I-Adapter LoRAの重みを学習する：HyperDreambooth あれ・・？もしかしてこの時点でたいていの人は脱落ですか。この辺の
TOPコラム海外最新IT事情1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 2023年7月28日 シンガポールの南洋理工大学とMicrosoft Azure AIに所属する研究者らが発表した論文「DISCO: Disentangled Control for Referring Human Dance Generation in Real World」は、1枚の静止画から人物が踊るリアルなビデオを生成する手法を提案した研究報告である。この手法は、TikTokの動画でトレーニングされており、画像内の人物を動かしてTiktok風のダンスを自動生成することができる。 「DisCo」と呼ぶこの
【イラストAI】ノイズやテクスチャを使って描き込み量をめちゃくちゃに増やそう！4/4【テクスチャ法/カムカム法】 イラストのディテールを大幅に引き上げる、StableDiffusion向けの特殊なテクニックをご紹介します。（全4回） 前回までのあらすじ（第一回はこちら） 第二回で紹介した『ノイズ法』という特殊な方法では、描き込み量を大幅に増やすことができました。 今回は応用編。ノイズの代わりにテクスチャを使って、液体や記号など特定の物を大量にかつランダムに描き出す『テクスチャ法』、通称『カムカム法』をご紹介します。 ノイズ法と共有できる知識がギュッと詰まっているので、ぜひ両方覚えていってください。 『テクスチャ法』とは「たくさん描いて欲しいのに、少ししか描いてくれない」 という表現はありませんか？ 例えばちょっとホラーな絵が見たいなと思っても、StableDiffusionくんはあまり"血
「長いプロンプトを入力するのが面倒だ・・・」 「ある画像のスタイルや構図を参考にした画像生成を行いたい」 このような場合には、ControlNetのShuffleがオススメです。 この記事では、ControlNetのShuffleについて解説しています。 本記事の内容 ControlNetのShuffleとは？Shuffleの利用方法 それでは、上記に沿って解説していきます。 ControlNetのShuffleとは？ Shuffleとは、画像を再構成するControlNetのモデルです。 再構成については、次の画像を見れば理解しやすいかもしれません。 アップロードした画像を、グニャグニャと一旦溶かします。 それを固める（再構成）とアプロードした画像に近い画像が生成されます。 正直、この説明でも意味不明なところがあるかもしれません。 わかりにくいShuffleを言い表すのに、ピッタリの言葉
2023/05/13 (更新日: 2023/09/29) 【Stable Diffusion】手・指だけ修正できる拡張機能『depth library』の使い方！ AIイラスト ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。 Stable Diffusionのイラストで指がうまく描けない ガチャ回しまくるのめんどくさい なんか便利な拡張機能ないの？ こういったお悩みにお答えします。 Stable Diffusionは手や指を正確に描くのがとても苦手です。指が4本になったり変な形になったり。 そのせいで何回もガチャを回すことになり、時間ばかりが過ぎ去っていくことも。 この記事では 【Stable Diffusion】手・指だけ修正できる拡張機能『depth library』の特徴とは？ depth libraryの導入方法 depth libraryの使い方 もっとスム
こんにちは！悠です！ 少し前、Redditでかなり有名になった下の動画をご存知でしょうか？ I transform real person dancing to animation using stable diffusion and multiControlNet by u/neilwong2012 in StableDiffusion 女性が踊っている実写の動画を素材にして、アニメイラスト風の女の子が踊っている動画に変換していますよね。 これは、今回紹介する動画を素材にして別の動画を生成する拡張機能「Mov2Mov」とMulti ControlNet（下の記事で紹介）の組み合わせで実現しています。 【Stable Diffusion】Multi ControlNetを使って複数のモデルを組み合わせ、複雑な画像の構図を制御するやり方！「Stable Diffusion」の拡張機能「Con
ローカル環境を作ったときに使ってみたかった機能にCharTurnerLoRA（同一キャラを複数視点で出力するLoRA）があったので早速使ってみたものの、出力が安定していなかったのでControlNetを併用する方法を考えてみた。 さらにランダム要素を加えてキャラクターデザインをいろいろさせてみよう計画に成功したのでnoteにまとめてみる。 下準備：CharTurnerとControlNetとwildcardsを用意する拡張機能の準備CharTurner LoRA版とTI版があるのでお好みのほうをDL! 解説はLoRA版で https://civitai.com/models/7252/charturnerbeta-lora-experimental ControlNet https://github.com/Mikubill/sd-webui-controlnet wildcards でん
V97 minor update Back_Blocker : Adds a mesh that blocks the back of the open pose's head. This is helpful if the character is rotating. Auto bright : Automatically adjusts the brightness of the line based on the distance from the camera. This can be helpful when used in conjunction with MimicMotion. You'll need to adjust the range of brightness in the Material tab accordingly. AnimdateDiff_tools _
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
