BigBirdのブロックスパースアテンションを理解する
要約を読む要約を閉じる
BigBirdモデルが、Transformerの二次計算量を線形に削減するブロックスパースアテンションメカニズムを採用。
アテンションメカニズムを工夫し、計算コストを大幅に削減しながら長文処理能力を向上させている。
より長いテキストを効率的に処理できるようになり、大規模言語モデルの応用範囲が広がる。
BigBirdはこの問題を解決するため、全ての位置にアテンションを適用するのではなく、特定のブロックやランダムな位置にのみアテンションを適用するブロックスパースアテンションを導入。
これにより、計算量を線形に抑えつつ、長距離依存関係の学習能力を維持している。