Unslothと🤗 TRLでLLMのファインチューニングを2倍高速化
UnslothとHugging Face TRLライブラリの統合により、LLMのファインチューニングが大幅に高速化されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
2255件
aMUSEdの紹介：効率的なテキストから画像生成
Hugging Faceが、より効率的なテキストから画像生成モデル「aMUSEd」を発表しました。
世界のLoRAトレーニングスクリプトよ、団結せよ！
Hugging FaceがLoRAトレーニングスクリプトの標準化と共有を促進する取り組みを発表しました。
Whisper推論を2倍高速化する投機的デコーディング
Hugging FaceがWhisperモデルの推論速度を投機的デコーディングで2倍に向上させました。
2023年、オープンLLMの年
2023年はオープンソースのLLMが急速に進化し、その性能が商用モデルに匹敵するレベルに達した。
N
スーパーアラインメント・ファストグラント
OpenAIが超人間的AIシステムの安全性とアラインメント研究に1000万ドルの助成金を提供します。
N
エージェントAIシステムのガバナンス実践
OpenAIがエージェントAIシステムの安全な開発と展開のためのガバナンス実践を提案しました。
N
弱から強への汎化
OpenAIが、弱い監督者で強いモデルを制御する「弱から強への汎化」という新しい研究方向を発表しました。
Mixtralの紹介 - Hugging FaceにおけるSOTA Mixture of Experts
Hugging Faceが、高性能なMixture of Expertsモデル「Mixtral」を公開しました。
Mixture of Experts (MoE) 解説
大規模言語モデルの効率と性能を向上させるMixture of Experts (MoE) アーキテクチャが注目されています。
SetFitABSA: SetFitを用いたFew-Shotアスペクトベース感情分析
SetFitを応用し、少ないデータで特定のアスペクトに対する感情を分析する手法が開発されました。
コールドブートにさようなら - LoRA推論を300%高速化する方法
Hugging FaceがLoRAモデルの推論速度を300%向上させる技術を開発しました。