はじめに この記事は、RunpodでGPUをレンタルして@kohya_techさんのMusubi-Tunerを使ってHunyuan VideoのLoRAアダプタを学習する備忘録的な記事です。 なお、筆者は動画生成どころか画像生成もほとんど触ったことのない素人なので、細かい文言のミス等あればご容赦ください。 環境準備 Runpod上での環境作成 まずはRunpod上で環境を作成します。今回はGPUにRTX 5000 Ada（VRAM 32GB）を選択し、Pod Templateにはrunpod/pytorch:2.4.0-py3.11-cuda12.4.1-devel-ubuntu22.04を選択します。 また、途中で各種モデルファイルをダウンロードする必要があるので、Volume Diskをやや多めにしておきます。今回は100GBにしておきました。 Runpod上での設定例 Musubi-
ご存知の方も多いかも知れませんが、civitaiを見るとHunyuanVideoのLoRAが多数出ていました。 ものすごい勢いで、LoRAが増えている印象です。 今はHunyuanVideo界隈が熱い！！ようです。 ちなみにCivitaiのサイトでの表示方法については、右上のフィルターの部分からLoRAとHunyuanVideoを選択すると出てきます。 叡智でないものと叡智なものがありますが、一番上は叡智なものが出ています。世界の叡智力の高さを感じますね。 Huggingfaceを探してもいくつかLoRAを見かけます。 HunyuanVideoにLoRAを使用する方法は、モデルのみで付けるフローが公開されていました。 シード値を固定して評価をしてみました。 もちろん、叡智ではないLorRAです。叡智なものはおのおの試してみてください。 LoRAを公開しているサイトで、推奨プロンプトやトリガ
プロンプト: ジムで、運動服を着た女性がランニングマシンで走っています。側面の角度、リアルな感じ、室内照明、プロフェッショナル。
1Tencent AI Lab 2The Hong Kong University of Science and Technology 3ARC Lab, Tencent PCG We innovate DepthCrafter, a novel video depth estimation approach, that can generate temporally consistent long depth sequences with fine-grained details for open-world videos, without requiring additional information such as camera poses or optical flow. Abstract. Estimating video depth in open-world scenari
MusePose: a Pose-Driven Image-to-Video Framework for Virtual Human Generation. Zhengyan Tong, Chao Li, Zhaokang Chen, Bin Wu†, Wenjiang Zhou (†Corresponding Author, [email protected]) Lyra Lab, Tencent Music Entertainment github huggingface space (comming soon) Project (comming soon) Technical report (comming soon) MusePose is an image-to-video generation framework for virtual human under contr
Gen-2: Generate novel videos with text, images or video clips A multimodal AI system that can generate novel videos with text, images or video clips. No lights. No camera. All action. Realistically and consistently synthesize new videos. Either by applying the composition and style of an image or text prompt to the structure of a source video (Video to Video). Or, using nothing but words (Text to
画像生成AI「ステーブル・ディフュージョン」の最初のバージョンを開発した英国のスタートアップ企業が、映像を生成するAIを発表した。既存の映像にテキストや画像を指定すると、新しい映像に変換できるという。 by Will Douglas Heaven2023.02.08 413 19 生成AI（ジェネレーティブAI）のスタートアップ企業であるランウェイ（Runway）は、テキスト入力や参照画像で指定した任意のスタイルを適用して、既存の映像を新しい映像に変換できるAIモデル「Gen-1」を発表した。同社は、2022年に話題となったテキストから画像を生成するモデル「ステーブル・ディフュージョン（Stable Diffusion）」を、スタビリティAI（Stability.AI）と共同開発した企業である。 ランウェイのWebサイトに掲載されているデモリールでは、Gen-1が道行く人々をクレイアニメの
Make-A-Video is a state-of-the-art AI system that generates videos from text. Make-A-Video research builds on the recent progress made in text-to-image generation technology built to enable text-to-video generation. The system uses images with descriptions to learn what the world looks like and how it is often described. It also uses unlabeled videos to learn how the world moves. With this data, M
Amazon Prime Videoが動画再生にWebAssemblyを採用。再生デバイス上にWasm VMをデプロイ、高フレームレートなど実現
これだけ多種多様なデバイスに対して、ログイン画面やパーソナライズされたポータル画面、動画の再生などの機能を実現するために、Amazon Prime VideoのアプリケーションはC++で開発されたJavaScript VMと、その上で動くJavaScriptアプリケーションの2つから構成されています。 そしてそれぞれが必要に応じてデバイスにダウンロードされ、実行されます。 特にJavaScriptのアプリケーション部分は実行時にダウンロードされ実行されることで、機能追加などの変更やバグフィクスが容易になっていると説明されています。 プロトタイプのWebAssembly化で10倍から25倍高速に Amazon.comがこのAmazon Prime VideoのアプリケーションにWebAssemblyの採用を検討し始めたのは2020年8月とのことです。 同社はプロトタイプとして低レイヤのJav
I recently learned about headless chrome and started playing a bit with it to see what could be done. As I looked closer, got excited about things you can do with it, and started thinking on different use cases. At the time, I was working on a project with a live streaming component, so I got some inspiration from there and I came up with a challenge. How to use headless chrome to stream a website
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
