FINER-SQL: テキストからSQL生成のための小規模言語モデルを強化
FINER-SQL: Boosting Small Language Models for Text-to-SQL
記事のポイント
📰ニュース
FINER-SQLは、小規模言語モデル（SLM）を強化し、テキストからSQLへの変換精度を大幅に向上させる新しい強化学習フレームワークです。
🔍注目ポイント
疎な報酬ではなく、実行フィードバックに基づく密で解釈可能な報酬を用いることで、SLMの推論能力と命令追従性を安定的に向上させます。
🔮これからどうなる
企業は、大規模言語モデルのコストやプライバシー問題を回避しつつ、効率的で高性能なオンプレミスでのSQL生成システムを導入できるようになります。
FINER-SQLは、グループ相対ポリシー最適化を基盤とし、メモリ報酬とアトミック報酬という2つの新しい報酬関数を導入しています。
これにより、誤ったSQLに対しても部分的な評価を与え、学習を継続させることが可能です。
BIRDおよびSpiderベンチマークで、3Bモデルが大規模LLMに匹敵する実行精度を達成し、推論レイテンシも大幅に短縮されました。
これにより、誤ったSQLに対しても部分的な評価を与え、学習を継続させることが可能です。
BIRDおよびSpiderベンチマークで、3Bモデルが大規模LLMに匹敵する実行精度を達成し、推論レイテンシも大幅に短縮されました。
小規模モデルで大規模モデル並みのSQL生成精度が出せるのはすごいですね。データベースと連携する業務アプリ開発のコストが下がりそうです。