新着ニュース

24296件
OpenAI Blog ★5 LLM EN

ニューラル言語モデルのスケーリング則

要約を読む要約を閉じる
📰ニュース

ニューラル言語モデルの性能が、モデルサイズ、データセットサイズ、計算量によってどのように変化するかを定量的に示しました。

🔍注目ポイント

モデルの性能が、これらの要素のべき乗則に従って予測可能に向上することを発見したのが技術的なポイントです。

🔮これからどうなる

将来のLLM開発において、リソース配分やモデル設計の最適化に役立つ指針を提供します。

OpenAIが2020年に発表したこの研究は、GPT-3などの大規模言語モデルの成功を支える重要な基礎となりました。
モデルのパラメータ数、学習データの量、学習に投入する計算リソースを増やすほど、モデルの性能が予測可能な形で向上することを示し、大規模化の有効性を裏付けました。
これにより、より大規模なモデル開発への投資が加速しました。
OpenAI Blog ★5 研究 EN

大規模深層強化学習によるDota 2の攻略

要約を読む要約を閉じる
📰ニュース

OpenAIが大規模深層強化学習を用いて、プロのDota 2プレイヤーを打ち負かすAI「OpenAI Five」を開発しました。

🔍注目ポイント

自己対戦と強化学習を組み合わせ、複雑な戦略ゲームで人間を超える性能を実現した点が画期的です。

🔮これからどうなる

AIが複雑なマルチプレイヤーゲームで人間を凌駕する能力を示し、ゲームAIの新たな可能性を開きました。

OpenAI Fiveは、膨大な数のゲームを自己対戦することで学習し、人間のプロプレイヤーチームを打ち破るまでに成長しました。
これは、リアルタイム戦略ゲームにおけるAIの限界を押し広げる重要な成果であり、強化学習の応用範囲の広さを示しています。
複雑な状況判断やチームワークが求められるDota 2での成功は、汎用AI開発への大きな一歩となります。
OpenAI Blog ★4 LLM EN

深層ダブルディセント

要約を読む要約を閉じる
📰ニュース

モデルサイズ、データサイズ、訓練時間が増加すると、性能が一度悪化し、その後再び向上する「ダブルディセント」現象がCNN、ResNet、Transformerで確認されました。

🔍注目ポイント

過剰適合を避けるための正則化が通常行われるが、モデルが非常に大きくなると性能が回復するという、従来の理解に反する現象です。

🔮これからどうなる

AIモデルの設計や訓練方法に新たな視点を提供し、より大規模なモデルの潜在能力を引き出す可能性があります。

この現象は、性能が最初に向上し、次に悪化し、そして再び向上するという、U字型と逆U字型を組み合わせたような挙動を示します。
これは、モデルが非常に大規模になった際に、訓練データに対する過剰適合を乗り越え、汎化性能が向上することを示唆しています。
なぜこの現象が起こるのか、そのメカニズムはまだ完全には解明されていません。
OpenAI Blog ★4 研究 EN

Procgenベンチマーク

要約を読む要約を閉じる
📰ニュース

強化学習エージェントの汎用的なスキル学習速度を測るベンチマークが公開されました。

🔍注目ポイント

16種類の自動生成環境により、エージェントの汎化性能を直接的かつ効率的に評価できます。

🔮これからどうなる

強化学習の研究開発が加速し、より汎用性の高いAIエージェントの実現に貢献します。

Procgenベンチマークは、手続き型生成された16のシンプルな環境を提供します。
これにより、エージェントが特定のタスクをどれだけ速く学習し、未知の状況にどれだけうまく適応できるかを測定できます。
従来のベンチマークよりも汎化性能の評価に特化しているのが特徴です。
OpenAI Blog ★4 AI倫理 EN

深層強化学習における安全な探索のベンチマーク

要約を読む要約を閉じる
📰ニュース

OpenAIが深層強化学習の安全な探索を評価するベンチマークを公開しました。

🔍注目ポイント

AIが未知の環境を探索する際に、危険な行動を避ける能力を客観的に測定する手法を提示しています。

🔮これからどうなる

より安全で信頼性の高いAIシステムの開発が促進され、実世界でのAI活用が加速するでしょう。

深層強化学習は、ゲームやロボット制御など様々な分野で成功を収めていますが、実世界での応用には安全性の確保が不可欠です。
このベンチマークは、AIが学習中に危険な状態に陥らないようにする「安全な探索」の進捗を測るためのものです。
これにより、研究者や開発者は、より安全なAIアルゴリズムを効率的に開発できるようになります。
OpenAI Blog ★4 AI倫理 EN

Safety Gym

要約を読む要約を閉じる
📰ニュース

OpenAIが、強化学習エージェントの安全性制約遵守を評価する環境「Safety Gym」を公開しました。

🔍注目ポイント

エージェントが学習中に安全制約を尊重するかを測定し、安全なAI開発を促進するツールです。

🔮これからどうなる

AI開発者は、より安全で信頼性の高い強化学習モデルを効率的に構築できるようになります。

Safety Gymは、強化学習エージェントが訓練中に安全制約を遵守しているかを測定するための環境とツールのスイートです。
これにより、AIが現実世界で展開される際の潜在的なリスクを軽減し、より安全なAIシステムの開発を加速させることが期待されます。
OpenAIは、安全なAIの開発をミッションとして掲げており、その一環として本ツールを公開しました。
OpenAI Blog ★4 LLM EN

GPT-2: 15億パラメータ版の公開

要約を読む要約を閉じる
📰ニュース

OpenAIがGPT-2の最大モデル(15億パラメータ)をコードと重みと共に公開しました。

🔍注目ポイント

段階的リリース計画の最終段階として、モデルの出力検出を促進する目的で公開されました。

🔮これからどうなる

将来の強力なモデル開発者にとって、責任ある公開プロセスのテストケースとなります。

これはGPT-2の段階的リリース計画の最終段階です。
8月以降、より大規模な言語モデルが公開されていますが、OpenAIは当初の計画を継続し、コミュニティに完全な段階的リリースプロセスのテストケースを提供しました。
AIコミュニティとの責任ある公開に関する議論も継続しています。
OpenAI Blog ★4 ロボット EN

ロボットハンドでルービックキューブを解く

要約を読む要約を閉じる
📰ニュース

OpenAIがロボットハンドでルービックキューブを解くAIシステムを開発しました。

🔍注目ポイント

シミュレーションで学習したAIが、現実世界で高い器用さを発揮できる点がすごいです。

🔮これからどうなる

ロボットが複雑な物理タスクをこなせるようになり、産業や日常生活での応用が期待されます。

OpenAI Fiveと同じ強化学習コードと、新しい技術であるAutomatic Domain Randomization (ADR) を用いて、ニューラルネットワークをシミュレーションで学習させました。
これにより、訓練で見ていない状況(例えば、キリンのぬいぐるみでつつかれるなど)にも対応できます。
これは、強化学習が仮想タスクだけでなく、物理世界の複雑な問題も解決できることを示しています。
OpenAI Blog ★3 ビジネス EN

OpenAI Scholars 2020: 応募受付開始

要約を読む要約を閉じる
📰ニュース

OpenAIが、AI分野でのキャリアを目指す多様な人材を支援する「OpenAI Scholars」の2020年度プログラムの応募受付を開始しました。

🔍注目ポイント

AI分野での経験が少ない人でも、メンターシップと給与を得ながら集中的なトレーニングを受けられる点が特徴です。

🔮これからどうなる

AI分野の多様性を促進し、これまで機会が少なかった人々が最先端のAI研究に貢献できる道を開きます。

このプログラムは、AI分野でのキャリアを追求したいものの、そのための十分な経験や機会がない個人を対象としています。
選ばれたスカラーは、OpenAIの専門家から指導を受けながら、AI研究の基礎から応用までを学び、実践的なプロジェクトに取り組みます。
これにより、AI分野の多様性と包摂性を高めることを目指しています。
OpenAI Blog ★4 LLM EN

人間の好みに合わせてGPT-2をファインチューニング

要約を読む要約を閉じる
📰ニュース

OpenAIがGPT-2を人間のフィードバックでファインチューニングし、人間の好みに合わせた出力を実現しました。

🔍注目ポイント

人間の選好を学習させることで、要約やテキスト継続タスクにおいて、より人間が好む出力を生成できるようになりました。

🔮これからどうなる

AIが人間の価値観や意図をより深く理解し、自然で人間らしい対話が可能になる未来に繋がります。

7億7400万パラメータのGPT-2モデルを使用し、要約タスクには6万件、テキスト継続タスクには5千件の人間によるラベル付けデータが用いられました。
要約では、人間が入力文をそのままコピーした文を好む傾向があったため、モデルもそのように学習しました。
これは、AIの安全性を高め、人間との対話を通じて人間の価値観を抽出する上で重要だと考えられています。
OpenAI Blog ★4 ロボット EN

マルチエージェント相互作用から生まれるツールの利用

要約を読む要約を閉じる
📰ニュース

AIエージェントが「かくれんぼ」ゲームを通じて、複雑なツール利用戦略を自律的に発見しました。

🔍注目ポイント

マルチエージェントの相互作用と自己学習により、環境がサポートするとは想定していなかった戦略が創発しました。

🔮これからどうなる

AIがより複雑な問題解決能力を獲得し、現実世界での応用範囲が広がる可能性があります。

OpenAIの新しいシミュレーション環境で、AIエージェントはかくれんぼゲームを繰り返す中で、6つの異なる戦略と対抗戦略を段階的に習得しました。
この自己教師あり学習による複雑性の創発は、マルチエージェントの共適応が将来的に非常に高度な知能行動を生み出す可能性を示唆しています。
OpenAI Blog ★4 研究 EN

予期せぬ敵対者に対する堅牢性のテスト

要約を読む要約を閉じる
📰ニュース

OpenAIが、訓練時に見られなかった敵対的攻撃に対するニューラルネットワークの堅牢性を評価する新しい手法を開発しました。

🔍注目ポイント

UAR(Unforeseen Attack Robustness)という新しい指標を導入し、単一モデルの予期せぬ攻撃への堅牢性を測定します。

🔮これからどうなる

AIモデルのセキュリティと信頼性が向上し、より多様な未知の脅威に対する防御策の必要性が明確になります。

この手法は、訓練データに含まれない敵対的攻撃に対するモデルの防御能力を評価することを目的としています。
従来の堅牢性評価では、既知の攻撃に対する性能が重視されていましたが、UARは未知の攻撃への対応能力を測ることで、より実用的なセキュリティ評価を可能にします。