TIDE: 各層がコンテキスト下のトークンを知る
LLMの各層にトークンインデックスを再注入する新手法「TIDE」が提案されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
2331件
想像をいつ信頼するか：世界行動モデルのための適応的行動実行
ロボットが予測と現実の乖離を検知し、行動計画を適応的に調整する新しい手法が開発されました。
記憶の始まり：LLMを操るための潜在空間KVキャッシュ操作
LLMの振る舞いを制御する新しい手法「Memory Inception（MI）」が開発されました。
ガウス平滑化を用いたソフト決定論的方策勾配
決定論的方策勾配（DPG）の学習安定性を向上させる新しい強化学習アルゴリズムが提案されました。
OBLIQ-Bench：潜在的・暗黙的クエリで現代のリトリーバーにおける見過ごされたボトルネックを露呈
潜在的なパターンや暗黙的な意図を伴う「斜め（oblique）」なクエリに対する検索性能の課題を指摘する研究…
マルチモーダル推薦システムにおける回避型プロモーション攻撃に対する協調型敵対的学習
マルチモーダル推薦システムへの回避型プロモーション攻撃に対し、協調型敵対的学習で防御する新手法が提…
フォワードフォワードネットワークにおける累積的良さのフリーライディング：実在し、修復可能だが、精度を支配する要因ではない
フォワードフォワードネットワークの学習において、後続層が先行層の成果に便乗する「フリーライディング…
重みグラム行列が深層ネットワークにおける逐次的な特徴線形化を捉える
深層ニューラルネットワークの学習メカニズムを解明する新しい理論的枠組みが提案されました。
推論時リファインメントが表形式データ拡散における合成-実データギャップを解消
推論時に合成表形式データを改善する新しいフレームワーク「TARDIS」が開発されました。
低リソース方言向け線形意味セグメンテーション
方言の音声データにおける意味セグメンテーションの課題を解決する新しいベンチマークとモデルが発表され…
LLMが指定するライブラリバージョンの大規模測定研究：正しいコードと脆弱な依存関係
LLMが生成するPythonコードに含まれるライブラリのバージョンに、多くの脆弱性や互換性の問題があることが…
ランダム因果有向非巡回グラフにおけるトポロジカルソート基準
ランダム因果有向非巡回グラフ（DAG）において、因果順序に沿って到達可能なノード（親族）の数が単調増加…