Ortho-Hydra：DiT LoRA向け直交化エキスパート
Ortho-Hydra: Orthogonalized Experts for DiT LoRA
記事のポイント
📰ニュース
拡散トランスフォーマー（DiT）のLoRAファインチューニングにおけるスタイル混在問題を解決する新手法が発表されました。
🔍注目ポイント
直交化された共有基底とエキスパートごとの独立した出力部分空間を組み合わせ、ルーターの初期の専門化を可能にします。
🔮これからどうなる
複数のスタイルを学習する画像生成AIの品質が向上し、より多様な画像を生成できるようになります。
既存のHydraLoRAでは、複数のスタイルを学習する際にスタイルが混ざり合う「スタイルブリード」が発生し、エキスパートが均一に学習してしまう問題がありました。
Ortho-Hydraは、この問題を解決するため、各エキスパートが初期段階から異なる勾配を受け取るように設計されています。
これにより、エキスパートが早期に専門化し、スタイルブリードを防ぐことができます。
Ortho-Hydraは、この問題を解決するため、各エキスパートが初期段階から異なる勾配を受け取るように設計されています。
これにより、エキスパートが早期に専門化し、スタイルブリードを防ぐことができます。
画像生成AIで複数の画風を学習させる際、スタイルが混ざってしまう問題はよく聞きますよね。この技術で、より多様なスタイルの画像を高品質に生成できるようになりそうです。