ActCam：ゼロショットでカメラと3Dモーションを同時制御する動画生成
ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation
記事のポイント
📰ニュース
ActCamは、既存の動画からキャラクターの動きとカメラワークを抽出し、新しいシーンで高精度に再現する動画生成手法です。
🔍注目ポイント
深度とポーズの条件付けを段階的に適用することで、カメラの一貫性とキャラクターの動きの忠実性を両立しています。
🔮これからどうなる
アーティストやクリエイターは、より細かく演出意図を反映した高品質な動画を効率的に生成できるようになります。
ActCamは、既存の画像-動画拡散モデルを活用し、深度とキャラクターのポーズ情報をフレームごとに幾何学的に一貫するように生成します。
デノイズ過程で、初期段階では深度とポーズの両方でシーン構造を強制し、その後はポーズのみで高周波の詳細を洗練させる二段階の条件付けスケジュールを採用しています。
これにより、大規模な視点変更にも対応し、人間の評価でも高い評価を得ています。
デノイズ過程で、初期段階では深度とポーズの両方でシーン構造を強制し、その後はポーズのみで高周波の詳細を洗練させる二段階の条件付けスケジュールを採用しています。
これにより、大規模な視点変更にも対応し、人間の評価でも高い評価を得ています。
これは動画生成の表現力を大きく広げる技術ですね。映画制作やゲーム開発の現場で、キャラクターの動きとカメラワークを自在に操れるようになりそうです。