Reformer - 言語モデリングの限界を押し広げる
要約を読む要約を閉じる
Hugging Faceが、効率的なTransformerモデル「Reformer」を発表しました。
Reformerは、LSHアテンションと可逆レイヤーを使い、計算量とメモリ使用量を大幅に削減します。
大規模なシーケンス長を扱う際の計算コストを下げ、より長いテキストの処理が可能になります。
Reformerは、LSH(Locality Sensitive Hashing)アテンションにより、関連性の高い部分にのみアテンションを集中させ、計算量を線形に削減。
さらに、可逆レイヤーにより、中間層のアクティベーションを再計算できるため、メモリ使用量も大幅に削減しています。