Features
特徴
「リアルタイム3DCGコントロールシステム（R3/アールスリー）」の特徴
現在の３DCGコンサートの主流
事前に観客の反応を予測して映像を作成し、生演奏は映像に合わせて行う。
「R3」の場合
その場でリアルタイムにキャラクターの動きや歌声を操作し、観客の反応や生演奏のタイミングにあわせてキャラクターを動かせる！
「R3」の使用イメージ
Use Cases
システム使用事例
初音ミクR3ライブジェネレーティド
冨田勲「イーハトーヴ交響曲」
冨田勲「ドクター・コッペリウス」
BUMP OF CHICKEN「ray」
ベートーヴェン「第九」演奏会
初音ミクR3ライブジェネレーティド
『初音ミク「マジカルミライ 2017」』の企画展ステージで、ギター・ドラムと共演する形で公演。髪の毛などの揺れ動くものは、UNITYのリアルタイム物理で制御。一部楽曲では、初音ミクのモーションを自動生成。また、共演キャラクターにインターネット検索結果を交えた発話機能を持たせ、自律的に初音ミクと会話させる試みも実施した。新たに開発したキューブ型LED照明装置では、照明パターンをMIDI信号で楽曲と同期させることにより、音に合わせた多様な光の効果を演出。さらに、この装置の発光情報をフィードバックし、光に合わせて初音ミクの衣装の光り具合の制御も行った。
▼使用オプション
冨田勲×初音ミク「イーハトーヴ交響曲」
オーケストラ・合唱と3DCGの初音ミクのリアルタイム共演を実現させた演目。この演目を実現化させるために「R3」が誕生。複数のMIDIトリガーを操作し、そのテンポデータをマスター信号として駆動させている。マスター信号を受取った発音装置が初音ミクの歌唱を実行し、同じ信号を受け取ったアニメーション装置が舞踏を実行。様々な楽曲シーンで、指揮者の指示するテンポ変化・揺れ・加減速に対応できるよう、オリジナルデータとの差異を収束する機能を持たせている。
▼使用オプション
冨田勲 追悼特別公演 冨田勲×初音ミク「ドクター･コッペリウス」
「R3」により、3DCGの初音ミクとオーケストラ、バレエダンサーの共演による公演を実現。可変する楽曲テンポにヒューマンクロックで追従させることで、バレエダンサーと息を合わせた初音ミクの歌唱・舞踏を可能とした。同公演のために、3Dホログラム投影装置〔ビーマーベィビイ®〕と、3次元可動式スクリーンシステム〔アステロイダー®〕を開発。新たな舞台装置開発により、未知なる空間演出も実現。
▼使用オプション
BUMP OF CHICKEN「ray」
アーティストと初音ミクのコラボレーション楽曲のプロモーションビデオ収録で「R3」を使用。現実空間でコラボレーションすることにより、後付の映像合成にはない、リアルな共演シーンの映像化を実現。同共演のために、モーションセンサー搭載の実写カメラで視線（位置）情報を測定し、追従してCGキャラクターを移動させる〔カメラワーク〕システムを開発。また、投影用スクリーン〔R3フィルム〕も円筒形に加工。実写カメラに合わせて、意識的に動くかのような初音ミクの姿を実現した。さらに、音声マスター機でのCGキャラクターのコントロールを可能とした。
▼使用オプション
ベートーヴェン「第九」演奏会～世界に広がれ！「とくしま“歓喜の歌”プロジェクト」～
「R3」により、初音ミクとオーケストラ、そして2,000人の合唱とのリアルタイム共演を実現。サプライズでの初音ミク登場のため、映像投影装置として、霧に映像を投影するミストプロジェクションシステム〔Thru Graph〕を採用。生演奏との共演だけでなく、何もない場所に突然現れるという、驚きの演出を実現させた。
▼使用オプション
Basic functions
基本機能
-
ボーン直叩きMIDI制御
モーションデータをMIDIデータに変換。DAWから3DCGモーションのボーンを直接コントロール。
-
フェイシャルMIDI制御
歌詞に合わせたリップや、表情の動きをMIDI信号でコントロール。
-
モーションスイッチ
元モーションを上書きしてもリズムが崩れない、高精度なリアルタイム物理とスムージング機能を搭載。
-
モーションレゾネーター
複数のモーションを合体し、小さな動きから極端にピークが強調された動きまで、そのブレンド率で動作のダイナミクスを制御。
-
パーツ割込み
収録されたモーションに、腕だけや足だけの動作を部分割込みさせ、踊りながら手を振るなどの動作をリアルタイムにアディション。
-
リアルタイムオプティミゼーション
X軸Y軸ストレッチや、時間軸の自動アクラセラレーション機能で、過酷な現場条件もリアルタイムで解決。
Option
オプション
「R3」と合わせての他、単体でのご利用も可能です。
投影・照明装置
-
R3フィルム
映像投影用に開発した高性能通過スクリーン。軽量で様々なサイズ・形状に加工可能。
-
ビーマーベィビイ®
従来のスクリーンと全く異なる独自素材で、光の反射を用いて空中に映像を映し出す3Dホログラム投影装置。ミニチュアサイズでの対応も可能。
-
アステロイダー®
モーター制御により、３次元的に形状を変えられるスクリーン。リアルタイムに形状を変化させることも可能。ミニチュアサイズでの製作にも対応。
-
キューブ型LED照明装置
LEDバーでキューブを構成した照明装置。照明パターンをMIDI信号で楽曲と同期させ、音に合わせた多様な光の効果を演出できる。この装置の発光情報をフィードバックすることにより、光に合わせて3DCGキャラクターの衣装等の光り具合も制御可能。
機能・サービス
-
カメラワーク
モーションセンサー搭載の実写カメラで視線（位置）情報を測定し、追従してCGキャラクターを移動させる〔カメラワーク〕システム
-
モーションキャプチャーの収録
自社でのモーションキャプチャー収録に対応。手軽な収録やキャプチャーデータを使った各種コンテンツ製作が可能。
Other technical development
その他技術開発
上記以外の技術開発にも対応可能です。
-
放送収録ARシステム
ステージ上のARマーカーを実写カメラで捉え、位置、角度、ズーム情報を取得し、3DCGキャラクターと実写映像を合成。
-
R3VJ（β version）
DJプレイに追従して3DCGモデルが踊り、バックの映像が変化するVJシステム。スマートフォンにインストールしたアプリで解析を行い、曲の盛り上がりやカメラで認識した色情報によって、3DCGモデル・背景を変化させることができる。（プロデュース：SONICWIRE ）