画像生成

228件
arXiv cs.AI ★4 画像生成 EN

Continuous Expert Assembly: Instance-Conditioned Low-Rank Residuals for All-in-One Image Restoration

要約を読む要約を閉じる
📰ニュース

画像劣化の種類を問わず、単一モデルで高精度な画像復元を実現する新手法「CEA」が発表されました。

🔍注目ポイント

Cross-Attention Hyper-Adapterが空間特徴から低ランクのルーティング基底と残差方向を動的に生成し、各トークンが最適な更新を組み立てます。

🔮これからどうなる

多様な劣化画像でも高品質な復元が可能になり、写真や動画の画質向上、医療画像解析など幅広い分野で役立ちそうです。

従来の画像復元モデルは、グローバルなプロンプトや劣化記述子で共有バックボーンを調整したり、事前定義されたエキスパートプールに特徴をルーティングしていました。
しかし、これらは局所的な劣化に対応しきれない課題がありました。
CEAは、トークンごとに動的にパラメータを生成し、外部プロンプトや静的なエキスパートバンクに依存せず、空間的に変化する複雑な劣化にも高い性能を発揮します。
arXiv cs.AI ★4 画像生成 EN

Autoregressive Visual Generation Needs a Prologue

要約を読む要約を閉じる
📰ニュース

自己回帰型画像生成モデルの生成品質を向上させる「Prologue」という新しい手法が提案されました。

🔍注目ポイント

画像トークンとは別に「プロローグトークン」を導入し、生成と再構築の最適化を分離することで、生成品質を大幅に改善します。

🔮これからどうなる

より高品質な画像を生成できるAIモデルの開発が加速し、クリエイターやデザイナーの表現の幅が広がるでしょう。

従来の自己回帰型モデルは、再構築と生成の両方を同じ視覚トークンで最適化するため、性能に限界がありました。
Prologueは、少数のプロローグトークンを視覚トークンの前に付加し、これらを生成専用に訓練することで、再構築品質を維持しつつ生成品質を向上させます。
ImageNetデータセットでgFIDを大幅に改善し、プロローグトークンが意味構造を獲得することも示されました。
arXiv cs.AI ★4 画像生成 EN

Learning Discrete Autoregressive Priors with Wasserstein Gradient Flow

要約を読む要約を閉じる
📰ニュース

画像トークナイザーと自己回帰型事前モデルの学習を統合する新手法「wAR-Tok」が提案されました。

🔍注目ポイント

Wasserstein勾配フローを用いて、トークナイザー学習時に事前モデルとの分布整合性を向上させます。

🔮これからどうなる

画像生成AIの品質が向上し、よりリアルで一貫性のある画像を生成できるようになります。

従来の画像トークナイザーは、再構築と事前モデル学習を分離しており、トークナイザーが事前モデルの予測しやすさを考慮していませんでした。
本研究は、Tripartite Variational Consistency (TVC) を用いてこの不整合を分析し、トークナイザー学習中に分布レベルでの事前モデルとの整合性信号を追加することで解決を図ります。
これにより、再構築品質を維持しつつ、自己回帰型損失と生成FIDが改善されました。
arXiv cs.AI ★4 画像生成 EN

エントロピーの崖を克服:自己回帰型画像生成のための可変コードブックサイズ量子化

要約を読む要約を閉じる
📰ニュース

自己回帰型画像生成において、固定コードブックサイズが引き起こす「エントロピーの崖」問題を解決する新手法「VCQ」が提案されました。

🔍注目ポイント

VCQは、シーケンスの進行とともにコードブックサイズを動的に変化させることで、情報理論的な限界を克服し、画像生成性能を大幅に向上させます。

🔮これからどうなる

高精細でリアルな画像をより効率的に生成できるようになり、画像生成AIの品質と応用範囲が大きく広がる可能性があります。

従来の画像トークナイザーは、シーケンスの全位置で同じコードブックサイズを使用しており、初期位置で情報が飽和し、後続位置が記憶問題となる「エントロピーの崖」に直面していました。
VCQは、初期は小さいコードブックで大まかな情報を捉え、徐々にコードブックサイズを大きくすることで、この問題を解決します。
ImageNetでgFIDを大幅に改善し、セマンティックな階層性も自然に学習できることが示されました。
arXiv cs.AI ★4 画像生成 EN

少数ステップ拡散蒸留のための連続時間分布マッチング

要約を読む要約を閉じる
📰ニュース

拡散モデルの高速化技術である分布マッチング蒸留を、連続時間最適化に拡張する新手法が発表されました。

🔍注目ポイント

固定された離散的なタイムステップではなく、動的な連続スケジュールと連続時間アライメントにより、高精度な画像生成を実現します。

🔮これからどうなる

少ないステップで高品質な画像を生成できるようになり、AI画像生成の速度と効率が大幅に向上する可能性があります。

従来の分布マッチング蒸留は、限られた離散的なタイムステップでのみ分布を一致させていたため、視覚的なアーティファクトや過度に滑らかな出力が生じがちでした。
この新手法「CDM」は、連続的な時間軸で分布を一致させることで、複雑な補助モジュールなしで高い視覚的忠実度を達成します。
SD3-MediumやLongcat-Imageなどのモデルでその有効性が確認されています。
arXiv cs.AI ★4 画像生成 EN

SOWing Information: 画像生成におけるMLLMを用いた文脈的整合性の育成

要約を読む要約を閉じる
📰ニュース

拡散モデルにおける情報拡散の無秩序な性質を改善し、文脈的に一貫した画像生成を実現する新しい手法が提案されました。

🔍注目ポイント

MLLMを活用して画像内の意味的・空間的関係を明確にし、選択的かつ一方向性の拡散でピクセルレベルの忠実度と整合性を両立させます。

🔮これからどうなる

より高品質で意図に沿った画像を生成できるようになり、クリエイターやデザイナーの作業効率と表現の幅が向上するでしょう。

従来の拡散モデルは情報拡散の無秩序さから、詳細の劣化や文脈の不整合が生じやすい課題がありました。
本研究では、まず一方向性拡散フレームワーク「COW」を導入し、次にMLLMで意味関係を明確化する「SOW」を提案。
これにより、文脈に応じた拡散の方向と強度を動的に調整し、学習不要で適応性の高い生成モデルを実現します。
arXiv cs.AI ★4 画像生成 EN

PixelGen:知覚的教師あり学習でピクセル拡散モデルを改善

要約を読む要約を閉じる
📰ニュース

PixelGenが知覚的教師あり学習を導入し、ピクセル拡散モデルの画像生成品質を大幅に向上させました。

🔍注目ポイント

LPIPSとP-DINOという2つの知覚損失を導入し、低ノイズ時に適用することで、画像の局所テクスチャと大域的意味を改善します。

🔮これからどうなる

より高品質でアーティファクトの少ない画像を生成できるようになり、特に高精細な画像生成やテキストからの画像生成の品質が向上します。

PixelGenは、VAEのアーティファクトを回避するピクセル空間での画像生成モデルです。
従来のピクセル拡散モデルが抱えていたぼやけた画像を生成する問題を、知覚的な損失関数で解決しました。
ImageNet-256でFID 5.11を達成し、テキストから画像生成でも高いGenEvalスコアを示しています。
arXiv cs.AI ★4 画像生成 EN

DC-DiT:動的チャンキングによる視覚生成のための適応的計算と弾力的な推論

要約を読む要約を閉じる
📰ニュース

拡散トランスフォーマーの画像生成において、動的チャンキングにより計算効率と画像品質を向上させました。

🔍注目ポイント

固定パッチ化を学習型エンコーダールーターデコーダーに置き換え、入力画像を適応的に圧縮し、トークン数を最適化します。

🔮これからどうなる

画像生成モデルの推論コストが大幅に削減され、ユーザーはより高速かつ高品質な画像生成を体験できます。

DC-DiTは、予測可能な領域やノイズの多い初期段階には少ないトークンを、詳細な領域や最終段階には多くのトークンを割り当てます。
これにより、ImageNet生成において推論FLOPsを最大36.8%削減し、FIDを最大37.8%向上させました。
既存のDiTモデルからアップサイクル可能で、柔軟な計算予算で評価できる弾力的な推論も実現します。
ASCII.jp ★4 画像生成

クオリティが大幅向上した画像生成AI「ChatGPT Images 2.0」。ビジネスはもちろん、写真や漫画まで、そのまま試せる6つのプロンプト付き

要約を読む要約を閉じる
📰ニュース

画像生成AI「ChatGPT Images 2.0」が描写能力と日本語文字列出力の品質を大幅に向上させました。

🔍注目ポイント

最新のChatGPT Images 2.0は、複雑な描写や日本語の正確な出力が可能になり、実用性が大きく向上しました。

🔮これからどうなる

ビジネスやクリエイティブ分野のユーザーは、より高品質な画像を効率的に生成できるようになり、作業が加速しそうです。

本記事は、生成AIの活用を始める人向けに、ChatGPT Images 2.0の機能向上と具体的なプロンプトを紹介しています。
特に、写真や漫画など多様な用途に対応できる6つのプロンプトが提供されており、ユーザーはすぐに試してAIの理解を深められます。
これにより、AIスキルの習得が促進されることが期待されます。
arXiv cs.AI ★4 画像生成 EN

Stable Diffusionの記憶はCLIP埋め込みによって予期せず駆動される

要約を読む要約を閉じる
📰ニュース

Stable Diffusionが特定のCLIP埋め込みに過度に依存し、それが記憶(memorization)の原因となっていることが判明しました。

🔍注目ポイント

CLIP埋め込みの構造的な重複、特にv_eotとv_padの重複が、モデルの記憶を強く引き起こしていることを特定しました。

🔮これからどうなる

画像生成モデルの安全性と信頼性が向上し、意図しない個人情報や著作物の生成リスクが低減されるでしょう。

テキストから画像への拡散モデルにおけるテキスト埋め込みが、どのように記憶に寄与するかを調査した研究です。
特に、CLIP埋め込みのv_eot(文末トークン)とv_pad(パディングトークン)の構造的な重複が、モデルに過度な依存を引き起こし、記憶を駆動していることを発見しました。
この知見に基づき、推論時にv_eotをマスクしたり、v_padを部分的にマスクしたりする2つの簡単な対策が提案されています。
arXiv cs.AI ★4 画像生成 EN

Ortho-Hydra:DiT LoRA向け直交化エキスパート

要約を読む要約を閉じる
📰ニュース

拡散トランスフォーマー(DiT)のLoRAファインチューニングにおけるスタイル混在問題を解決する新手法が発表されました。

🔍注目ポイント

直交化された共有基底とエキスパートごとの独立した出力部分空間を組み合わせ、ルーターの初期の専門化を可能にします。

🔮これからどうなる

複数のスタイルを学習する画像生成AIの品質が向上し、より多様な画像を生成できるようになります。

既存のHydraLoRAでは、複数のスタイルを学習する際にスタイルが混ざり合う「スタイルブリード」が発生し、エキスパートが均一に学習してしまう問題がありました。
Ortho-Hydraは、この問題を解決するため、各エキスパートが初期段階から異なる勾配を受け取るように設計されています。
これにより、エキスパートが早期に専門化し、スタイルブリードを防ぐことができます。
arXiv cs.AI ★4 画像生成 EN

AHPA:拡散トランスフォーマーのための適応的階層事前アライメント

要約を読む要約を閉じる
📰ニュース

拡散トランスフォーマーの学習を加速させる新しいアライメントフレームワーク「AHPA」が提案されました。

🔍注目ポイント

AHPAは、VAEエンコーダの階層的表現を活用し、ノイズレベルに応じて適応的にアライメントの粒度を調整します。

🔮これからどうなる

画像生成モデルの学習効率と生成品質が向上し、より高品質な画像を素早く生成できるようになります。

既存のアライメント手法は固定された目標や粒度で学習を行っていましたが、AHPAはノイズレベルに応じて粗いセマンティック情報から詳細な幾何学的情報まで、VAEの多段階特徴を動的に選択・重み付けします。
これにより、モデルの学習ニーズに合わせた最適なアライメントが可能になり、外部エンコーダ不要で推論コストも増加しません。