自然言語からSQLへの変換（NL2SQL）技術は急速に発展しており、自然言語処理（NLP）分野における重要なイノベーションとなっています。この技術により、ユーザーは自然言語クエリを構造化照会言語（SQL）文に変換できるようになり、技術的な背景を持たないユーザーでも複雑なデータベースと容易にやり取りし、貴重な情報を取得できるようになりました。NL2SQL技術は、様々な業界における大規模データベースの活用に新たな扉を開き、作業効率と意思決定能力の向上にも貢献しています。
しかし、NL2SQLの実装においては、クエリの正確性と適応性の間にトレードオフが存在します。いくつかの手法では、SQLクエリの生成において、正確性を保証できないだけでなく、様々なタイプのデータベースへの適応も困難です。既存のいくつかのソリューションは、大規模言語モデル（LLM）に依存し、プロンプトエンジニアリングによって複数の出力を生成し、最適なクエリを選択しますが、この方法は計算コストが高く、リアルタイムアプリケーションには適していません。また、教師あり微調整（SFT）は、特定のSQL生成を実現できますが、異分野への適用や複雑なデータベース操作においては困難に直面するため、革新的なフレームワークが求められています。
アリババの研究チームは、画期的なNL2SQLフレームワークであるXiYan-SQLを発表しました。これは、複数のジェネレーター統合戦略を融合し、プロンプトエンジニアリングとSFTの利点を組み合わせたものです。XiYan-SQLの重要な革新は、M-Schemaの導入にあります。これは半構造化されたスキーマ表現方法であり、データ型、主キー、サンプル値など、データベースの階層構造に対するシステムの理解を強化し、正確でコンテキストに沿ったSQLクエリの生成能力を向上させます。
XiYan-SQLは、3段階のプロセスでSQLクエリを生成および最適化します。
まず、システムはスキーマリンクによって関連するデータベース要素を識別し、冗長な情報を削減し、重要な構造に焦点を当てます。次に、例示学習（ICL）とSFTに基づくジェネレーターを使用して、SQL候補を生成します。最後に、システムは、エラー訂正モデルと選択モデルを使用して、生成されたSQLを最適化および選別し、最適なクエリを選択することを保証します。XiYan-SQLはこれらのステップを効率的なパイプラインに統合し、従来の方法を凌駕しています。
厳格なベンチマークテストの結果、XiYan-SQLは複数の標準テストセットで優れたパフォーマンスを示しました。例えば、Spiderテストセットでは89.65％の実行精度を達成し、従来の最先端モデルを明らかに上回っています。
さらに、非リレーショナルデータセットへの適応性においても、XiYan-SQLは優れた成果を上げており、NL2GQLテストセットで41.20％の精度を達成しました。これらの結果は、XiYan-SQLが様々なシナリオにおいて卓越した柔軟性と正確性を備えていることを示しています。
github:https://github.com/XGenerationLab/XiYan-SQL
要点：
🌟 革新的なスキーマ表現：M-Schemaはデータベース階層構造の理解を強化し、クエリの精度を向上させます。
📊 高度な候補生成：XiYan-SQLは複数のジェネレーターを利用して多様なSQL候補を生成し、クエリの品質を向上させます。
✅ 優れた適応性：ベンチマークテストにより、XiYan-SQLは様々なデータベースにおける優れた性能を示し、新たなNL2SQLフレームワークの基準を打ち立てました。
