Overview
多岐にわたる、業務規程集をリアルタイムに検索し正確に回答するシステム導入を支援しました。要件定義から、データベース構築仕様策定、パイプライン設計、精度評価フレームワークの導入まで、エンタープライズAI導入の全フェーズを担当しました。
フェーズ 1 — 課題整理：As-Is分析とペインポイントの構造化
キックオフ段階において、業務の現状（As-Is）を深くヒアリング・分析しました。「検索が遅い」という表層的な課題だけでなく、ナレッジ管理の構造的な欠陥を浮き彫りにし、AI導入の目的を再定義しました。
情報のサイロ化と属人化
分散するナレッジソース
金融商品ごとの規程集（PDF）、社内ポータルのFAQ（HTML）、ベテラン社員のローカルExcelメモなど、情報ソースが分散。検索ツールが統一されておらず、「誰に聞くか」が最も早い解決策となっていました。
AHT増大と保留率の悪化
平均3〜5分の保留時間
新人オペレーターは顧客を「保留」にしてから正解を探すまでに平均3〜5分を要しており、顧客満足度（CS）の低下とスーパーバイザー（SV）へのエスカレーション負荷が限界に達していました。
フェーズ 2 — 要件定義：ビジネス目標とシステム要件の橋渡し
データガバナンスとFAQ DB仕様の策定
メタデータ設計 / データライフサイクル管理
AI導入の前提として、分散したデータをRAGに適した形式に再構成する『FAQ DB構築仕様書』を策定。「いつの、どの商品の、誰向けの規程か」を明示するメタデータ設計（タグ付け）を要件化し、AIが「過去の無効な規程」を誤って参照しないデータガバナンスルールを定義しました。
非機能要件と精度評価フレームワークの確立
RAGAs / SLA定義
「AIが正確に答えたか」を人間が目視確認する属人的な評価を脱却するため、RAGAs（Retrieval Augmented Generation Assessment）などの定量評価フレームワーク導入を要件化。「出典の正確性（Faithfulness）99%以上」などの厳密なSLAを経営層と合意しました。
フェーズ 3 — FAQデータベース構築仕様（データエンジニアリング）
RAGの精度は「検索されるデータ（Context）の質」に大きく依存します。既存の非構造化ドキュメント（PDF, HTML, Word）をAIが解釈しやすい構造化データへ変換するETLパイプラインと、精密なメタデータスキーマを設計しました。
| 変数 | 説明 | データ型 |
|---|---|---|
| doc_id / chunk_id | ドキュメントおよびチャンクの一意な識別子。「【出典】第〇版 業務規程集 P.12」形式での参照元提示に利用。 | String |
| product_category | 対象商品カテゴリ（例: ["住宅ローン", "無担保ローン"]）。検索範囲をベクトルDB内でPre-filteringするメタデータフィルター用。 | List[String] |
| valid_from / valid_to | 規程の有効期間。現在日時と照合し、過去の古い規程（廃止済みルール）を検索対象から自動除外する時限フィルター。 | Date |
| content_type | "text"・"table"・"faq" の区別。表データの場合はVisionモデルによるMarkdown/JSON変換を経由するパース処理分岐に使用。 | Enum |
セマンティック・チャンキングと表形式データの構造保持
単純な「500文字ごとの分割」では文脈が切れてしまうため、マニュアルの見出し階層（Heading 1, 2, 3）をメタデータとして保持したまま分割する**セマンティック・チャンキング**を採用。また、金融商品特有の複雑なテーブルデータ（金利表・手数料表・条件分岐テーブル）は、LLM（Visionモデル）を用いて**Markdown形式またはJSON形式に変換してベクトル化**し、行列の意味構造を破壊せずにAIが検索・理解できるよう前処理を実装しました。
フェーズ 4 — Advanced RAGアーキテクチャ設計
オペレーターの「口語的で曖昧なクエリ」から、規程集の「堅い表現」を正確に引き当てるため、複数段階の検索パイプライン（Advanced RAG）を構築しました。
Query Transformation
Query Expansion / HyDE
オペレーターの口語的な質問をLLMが「金融専門用語」や「複数キーワード」に拡張・書き換え（Query Expansion）。また仮説的ドキュメント生成（HyDE）により、「こんな回答が書かれた文書があるはず」という仮想文書を生成して検索精度を向上させました。
Hybrid Search
Dense + Sparse + Pre-filter
ベクトル検索（意味的類似度）＋ BM25（キーワード一致検索）を組み合わせたHybrid Searchで専門用語の取りこぼしを防止。同時に、日付（valid_from/to）・商品カテゴリのメタデータでPre-filteringを実施。
Reranking
Cross-Encoder / Cohere Rerank / BGE M3
取得した上位20件のチャンクを、Cross-Encoderベースのリランカー（Cohere Rerank / BGE M3）で質問文との関連性に基づき再スコアリング。真に必要な上位3〜5件のみをLLMコンテキストに渡し、ノイズを除去。
最新アーキテクチャの提案：Agentic RAG × GraphRAG
Agentic RAG — AIが「何をすべきか」を自律判断する
オペレーターの質問内容に応じ、AIエージェントが自律的に「社内FAQを検索するべきか」「金利計算のAPIを叩くべきか」「情報不足のためオペレーターに追加ヒアリングを促すべきか（Clarification）」を動的に判断する**Tool Calling / Routing アーキテクチャ**を設計しました。2024〜2026年にかけてエンタープライズAI導入で主流となりつつある「ReActエージェント」「Function Calling」の知見を実装し、複雑な条件分岐を伴う金融商品の案内精度が飛躍的に向上しました。
GraphRAG — 商品間の複雑な関係性をナレッジグラフで捉える
「商品Aと商品Bの併用条件」といった、複数ドキュメントを跨ぐ複雑な関係性（エンティティ関係）を処理するため、ベクトル検索に加えて**Knowledge Graph（ナレッジグラフ）**を併用する「GraphRAG」を設計しました。Microsoft Research（2024）が提唱したGraphRAGの手法を参考に、金融商品間の依存関係・制約条件・適用除外をグラフ構造で表現することで、多角的な質問に対する回答の網羅性（Recall）と論理的整合性を確保しました。
精度評価フレームワーク（RAGAs）
Faithfulness（忠実性）
回答がコンテキストにのみ基づいているか（LLMが知識を捏造していないか）を検証。ハルシネーション検出の最重要KPI。目標: 99%以上。
Context Precision / Recall
Context Precisionは「検索上位に必要情報が来ているか」、Context Recallは「正解情報が漏れなく検索できているか」を月次トラッキング。
Answer Relevance（関連性）
質問に対して的確に答えているかを自動スコアリング。無関係な情報を回答に混入させるノイズの度合いを定量化し、月次改善サイクルへ。
コンサルティングの成果とビジネスインパクト
平均処理時間 推定30%削減
Advanced RAG（Query Expansion + Hybrid Search + Reranking）により、オペレーターのマニュアル検索時間を最大80%削減。AHT全体の約30%改善を達成。
重要規程ハルシネーション 0%
Grounded Generationと厳密なプロンプト制御により、回答不能ケースは「回答不可」と出力してエスカレーション。金融コンプライアンスリスクをゼロに。
構造化FAQデータベースの確立
今回構築したメタデータ付きFAQ DBは、将来の他AIシステム（チャットボット・自動応答等）にも流用可能なデータ資産。RAG精度向上のフライホイールを形成。
プロジェクト情報
カテゴリ
コンサルティング / 生成AI / RAG
年度
2025
分野
コールセンターAI / FinTech
言語
Python / FastAPI
技術スタック
キーワード
ハイライト
- ✓Query Expansion + Hybrid Search + Cross-Encoder Rerankingの多段階Advanced RAGパイプライン
- ✓Agentic RAG（Tool Calling）によるAPI・FAQの自律的使い分けアーキテクチャ提案
- ✓メタデータスキーマ（有効期限・商品カテゴリ）によるFAQ DBデータガバナンス設計