Apple、オンデバイスAIのメモリ限界を突破する新アーキテクチャを発表
On-device AI agents hit a hard memory limit. Apple's new architecture routes around it.
記事のポイント
📰ニュース
AppleがWWDC26で、オンデバイスAIモデルのメモリ制約を克服する新しいアーキテクチャを発表しました。
🔍注目ポイント
モデルの重みをDRAMではなくNANDフラッシュに保存し、プロンプトごとに必要な専門家をDRAMにロードすることで、大規模モデルのオンデバイス実行を可能にしました。
🔮これからどうなる
これにより、ユーザーはクラウドに依存せず、より高性能なAIエージェント機能をデバイス上で利用できるようになり、プライバシー保護も強化されます。
AppleのAFM 3 Core Advancedは200億パラメータのモデルで、重みをNANDフラッシュに格納します。
従来のMoEモデルとは異なり、プロンプトごとに一度だけ専門家をルーティングし、そのセットで全てのトークンを生成します。
これにより、NAND-DRAM間の帯域幅の制約を回避し、デバイス上での大規模モデル実行を実現しました。
従来のMoEモデルとは異なり、プロンプトごとに一度だけ専門家をルーティングし、そのセットで全てのトークンを生成します。
これにより、NAND-DRAM間の帯域幅の制約を回避し、デバイス上での大規模モデル実行を実現しました。
これはすごい技術革新ですね！iPhoneやMacでより賢いAIアシスタントが使えるようになり、私たちの生活がさらに便利になりそうです。