RAG技術の精度評価で業界最高水準の82.7%を達成 ~回答の正当性を自ら思考する独自技術のAIエージェントにより、回答精度が向上~

JAPAN AI株式会社(本社:東京都新宿区、代表取締役社長:工藤 智昭、以下JAPAN AI)は、独自開発のRAG技術において、主要クラウドベンダーと比較して最高水準の検索精度を達成したことをお知らせします。
JAPAN AIのRAG精度について
本検証では、複数の大規模言語モデルを用いて模範解答との意味的な類似性・一致性を考慮した正答率指標により評価を実施しました。
JAPAN AIで開発しているRAGは、企業内の文書データベースから必要な情報を高精度で検索・抽出し、的確な回答を生成する技術を用いています。これにより検索精度を大幅に向上させ、社内文書やマニュアルなどの検索において、従来のRAGと比較し、より正確で信頼性の高い回答を出力することが可能です。
検証結果では、JAPAN AIは82.7%という高い正答率を達成し、A社(51.2%)やB社(71.4%)と比較して優れたパフォーマンスを示しました。この結果は、JAPAN AIの技術が高い検索精度と情報再現性を実現していることを実証しています。
〈検証結果〉

※約300の質問に対する回答の正答率
回答に正当性があるかを自ら思考する「Agentic RAG」
単に情報を検索して表示するだけでなく、回答の正当性を検証し、より適切な代替案を確認します。具体的には、複数の情報源を参照しながら、回答内容の整合性チェックや、より良い表現方法の検討を行い、最適な回答を生成します。

今後の展望
今後は、データベースへの保存前に、AIエージェントが文書内容の理解を深め、検索しやすい形に構造化を行っていく予定です。文書間の関連性や階層構造を分割的に整理することで、網羅的な情報抽出を可能にしてまいります。また、企業ごとに異なる活用パターンに対応するため、カスタマイズ可能な構造化を取り入れていきます。
