---
title: 企業向けテキストからSQLへの変換における精度低下の課題
url: https://www.dataloco.com/ja/sql
published: 2026-10-19T06:21:31+00:00
language: ja
section: データ
source: https://habr.com/ru/companies/otus/articles/1088874/?utm_campaign=1088874&utm_source=habrahabr&utm_medium=rss
organizations: BigQuery, Snowflake, MIT
publisher: Dataloco
---

# 企業向けテキストからSQLへの変換における精度低下の課題

企業向けデータストレージにおいて、自然言語の質問からSQLを生成するAIエージェントが、デモ環境とは異なり不正確な回答を出す問題が報告されています。この現象は、モデル自体の能力よりも、企業のビジネスルールや指標の定義、データの関連性といったコンテキストがモデルに明示的に提供されていないことに起因しています。

複数のベンチマーク結果がこの傾向を示しています。Spider 2.0の調査では、学習用データであるSpider 1.0で91.2%だった正解率が、実際の企業シナリオを含む課題では21.3%まで低下しました。また、BEAVERベンチマークでは、GPT-5.2を用いたエージェントの正解率が10.8%、Claude 4.5 Sonnetでは11.4%にとどまっています。BEAVERにおいて、テーブルや結合キーなどのスキーマに関するヒントを提示した場合、正解率は9.5%から最大25.9%まで向上することが確認されました。

Michael StonebrakerとPeter Chenによる2026年9月23日の報告では、BEAVERにおける純粋な大規模言語モデルの正解率は0%であり、RAGやプロンプトエンジニアリングを導入しても約10%までしか向上しなかったとされています。ただし、適切なテーブルと結合条件をモデルに伝達することで、正解率は約30%まで上昇しました。

MITの管理ストレージを用いた2年間の検証では、学習用データにはない4つの課題が特定されました。これには、企業ストレージが非公開であること、ビジネスの変化に伴いスキーマが劣化すること、J-Termのような独自の用語集が存在すること、そして実際のクエリが学習用よりも複雑であることが含まれます。例えば、BEAVERのクエリでは平均5.7個の結合が含まれています。