LLM

6681件
Hugging Face Blog ★4 LLM EN

はい、Transformerは時系列予測に効果的です(+ Autoformer)

要約を読む要約を閉じる
📰ニュース

Hugging FaceがTransformerモデルが時系列予測に非常に有効であることを示しました。

🔍注目ポイント

Transformerの自己注意機構が、時系列データの複雑なパターンと長期依存関係を捉えるのに優れています。

🔮これからどうなる

金融、気象、需要予測など、様々な分野で予測精度が向上し、より良い意思決定が可能になります。

Transformerは元々自然言語処理で成功を収めましたが、そのアーキテクチャが時系列データにも適用可能であることが示されました。
特にAutoformerのようなモデルは、従来の統計モデルやリカレントネットワークよりも高い精度を達成しています。
これは、時系列データにおける複雑な季節性やトレンド、異常値を効果的に学習できるためです。
OpenAI Blog ★5 LLM EN

関数呼び出しとその他のAPIアップデート

要約を読む要約を閉じる
📰ニュース

OpenAIがAPIモデルの制御性向上、関数呼び出し機能、コンテキスト長の拡大、価格引き下げを発表しました。

🔍注目ポイント

モデルが外部ツールやAPIを呼び出すためのJSONスキーマを生成できる「関数呼び出し」機能が追加されました。

🔮これからどうなる

開発者はより複雑なタスクを自動化し、AIと外部サービスを連携させた革新的なアプリケーションを構築できるようになります。

GPT-4とGPT-3.5 Turboにこの新機能が導入され、開発者はモデルにツールの定義を記述させることで、モデルが適切な引数と共にツールを呼び出すためのJSONを生成します。
これにより、チャットボットが外部APIと連携して質問に答えたり、アクションを実行したりすることが可能になります。
また、コンテキスト長が最大16kトークンに拡張され、価格も最大75%引き下げられました。
Hugging Face Blog ★4 LLM EN

基盤モデルは人間のようにデータにラベル付けできるか?

要約を読む要約を閉じる
📰ニュース

基盤モデルが人間と同等の精度でデータにラベル付けできるか検証された。

🔍注目ポイント

少数のアノテーターと基盤モデルの性能を比較し、その有効性を評価している。

🔮これからどうなる

データラベリングのコストと時間を大幅に削減し、AI開発を加速させる可能性がある。

Hugging Faceの研究者が、基盤モデルが人間のようにデータにラベル付けできるかを検証しました。
この研究は、データラベリングにおける基盤モデルの可能性を探るもので、AI開発の効率化に貢献することが期待されます。
Hugging Face Blog ★3 LLM EN

Hugging Face HubにfastTextが仲間入り

要約を読む要約を閉じる
📰ニュース

Hugging Face HubがFacebook AIのテキスト分類・単語埋め込みライブラリfastTextをサポートしました。

🔍注目ポイント

fastTextモデルをHub上で簡単に共有・利用できるようになり、テキスト処理の利便性が向上します。

🔮これからどうなる

開発者はfastTextモデルの発見、ダウンロード、利用が容易になり、AI開発が加速します。

fastTextは、テキスト分類や単語埋め込み(Word Embeddings)に特化したオープンソースライブラリです。
特に大規模なデータセットでの高速な処理と高い精度が特徴で、多くの研究者や開発者に利用されています。
Hugging Face Hubへの統合により、既存のTransformersライブラリとの連携も期待されます。
Hugging Face Blog ★4 LLM EN

FalconがHugging Faceエコシステムに着陸

要約を読む要約を閉じる
📰ニュース

UAEのTIIが開発した大規模言語モデルFalconがHugging Faceエコシステムに統合されました。

🔍注目ポイント

Falconはオープンソースで公開され、Hugging Faceのツール群で簡単に利用・微調整が可能です。

🔮これからどうなる

研究者や開発者は高性能なオープンソースLLMを容易に利用し、AI開発を加速できます。

Falconは、7Bと40Bのパラメータを持つモデルがあり、特に40Bモデルは多くのベンチマークでLlamaを上回る性能を示しています。
Hugging FaceのTransformersライブラリ、Accelerate、Text Generation Inferenceなどに対応し、効率的な利用が可能です。
Hugging Face Blog ★3 LLM EN

オープンソースAIゲームジャム開催のお知らせ🎮

要約を読む要約を閉じる
📰ニュース

Hugging FaceがオープンソースAIを活用したゲームジャムの開催を発表しました。

🔍注目ポイント

AIモデルをゲーム開発に組み込むことで、新たなゲーム体験や創造性を探求する機会を提供します。

🔮これからどうなる

開発者はAI技術をゲームに活用するスキルを習得し、AIゲームのコミュニティが活性化します。

Hugging Faceは、オープンソースのAIツールやモデルをゲーム開発に利用することを奨励しています。
このゲームジャムは、参加者がAIの可能性を探り、革新的なゲームを共同で作り出すためのプラットフォームとなります。
具体的な開催期間やテーマは今後発表される予定です。
OpenAI Blog ★4 LLM EN

プロセス監視による数学的推論の改善

要約を読む要約を閉じる
📰ニュース

OpenAIが数学の問題解決において、各推論ステップを評価する新手法を開発しました。

🔍注目ポイント

最終結果だけでなく、推論の途中経過を評価する「プロセス監視」で性能が向上しました。

🔮これからどうなる

AIが人間が納得できる思考プロセスを生成する能力が向上し、信頼性が高まります。

従来の「結果監視」では最終的な正解のみを評価していましたが、この新手法では、人間が正しいと判断する推論の各ステップに報酬を与えることでモデルを訓練します。
これにより、数学の問題解決能力が向上しただけでなく、モデルが生成する思考の連鎖が人間によって承認されるというアライメント上の利点も得られました。
Hugging Face Blog ★4 LLM EN

Amazon SageMaker向けHugging Face LLM推論コンテナの紹介

要約を読む要約を閉じる
📰ニュース

Hugging FaceがAmazon SageMakerでLLM推論を効率化するコンテナを発表しました。

🔍注目ポイント

大規模言語モデルのデプロイと推論をSageMaker上で簡単に実行できる点が特徴です。

🔮これからどうなる

開発者はLLMの運用負荷を軽減し、より迅速にAIアプリケーションを構築できます。

このコンテナは、Hugging FaceのTransformersライブラリとOptimumライブラリを統合しており、SageMakerのマネージドサービス上で最適化された推論環境を提供します。
これにより、モデルのロードやスケーリング、セキュリティ設定などが簡素化され、開発者はモデルの性能向上に集中できるようになります。
Hugging Face Blog ★3 LLM EN

Hugging Face HubとのBERTopic統合を発表

要約を読む要約を閉じる
📰ニュース

BERTopicがHugging Face Hubと統合され、トピックモデルの共有・再利用が容易になりました。

🔍注目ポイント

事前学習済みトピックモデルをHubにアップロード・ダウンロードでき、モデルの再現性とアクセシビリティが向上します。

🔮これからどうなる

研究者や開発者は、トピックモデリングのワークフローを効率化し、コミュニティでの知見共有を促進できます。

BERTopicは、BERT埋め込みとc-TF-IDFを利用して、高精度なトピックを抽出するPythonライブラリです。
今回の統合により、ユーザーは自分のデータで学習したトピックモデルをHubに保存し、他のユーザーと共有したり、異なるプロジェクトで再利用したりすることが可能になります。
これにより、トピックモデリングの実験や応用がさらに加速すると期待されます。
Hugging Face Blog ★5 LLM EN

bitsandbytes、4ビット量子化、QLoRAでLLMをさらに身近に

要約を読む要約を閉じる
📰ニュース

Hugging FaceがbitsandbytesとQLoRAを活用し、LLMのメモリ効率を大幅に改善しました。

🔍注目ポイント

4ビット量子化とQLoRAにより、GPUメモリ消費を抑えつつLLMのファインチューニングが可能になりました。

🔮これからどうなる

より少ないリソースで高性能なLLMを扱えるようになり、研究者や開発者の参入障壁が下がります。

QLoRAは、4ビット量子化された事前学習済みモデルをフリーズし、少数のLoRAアダプターのみを学習させることで、メモリ使用量を劇的に削減します。
これにより、以前は大規模なGPUクラスターが必要だったLLMのファインチューニングが、単一のGPUでも可能になります。
Hugging Faceのtransformersライブラリに統合され、手軽に利用できます。
OpenAI Blog ★4 LLM EN

iOS向けChatGPTアプリの登場

要約を読む要約を閉じる
📰ニュース

OpenAIがiOS向けにChatGPTの公式アプリをリリースしました。

🔍注目ポイント

会話履歴の同期、音声入力対応、最新モデルの改善が利用可能です。

🔮これからどうなる

iPhoneユーザーはより手軽にChatGPTを利用できるようになります。

このアプリは無料で提供され、会話履歴がデバイス間で同期されるため、PCでの会話の続きをスマホで、といった使い方ができます。
また、音声入力に対応しているため、より自然な形でAIと対話できます。
最新のモデル改善もアプリに反映されます。
Hugging Face Blog ★4 LLM EN

BigCodeの裏側にある大規模ニア重複排除

要約を読む要約を閉じる
📰ニュース

BigCodeプロジェクトが大規模なコードデータセットからニア重複を効率的に排除する技術を開発しました。

🔍注目ポイント

MinHashアルゴリズムとLSHを組み合わせ、数テラバイトのコードデータから重複を高速に特定・削除します。

🔮これからどうなる

高品質なコードデータセットが生成され、より高性能で汎用的なコード生成AIモデルの開発に貢献します。

BigCodeは、大規模言語モデル(LLM)のトレーニングに不可欠な高品質なコードデータセットを構築しています。
ニア重複排除は、モデルが同じコードを何度も学習するのを防ぎ、学習効率とモデルの汎化性能を向上させるために重要です。
この技術は、数テラバイト規模のデータセットに対してスケーラブルに適用できる点が特徴です。