YASUHIRO
LLMとRAGを活用した個別最適化・復習問題の自動生成AI
AI 開発2024

LLMとRAGを活用した個別最適化・復習問題の自動生成AI

RAGEdTechAdaptive LearningGenerative AI

Overview

学習塾のタブレット教材において、児童・生徒ごとの学習履歴や過去の誤答データ(弱点)に基づき、パーソナライズされた復習問題(多肢選択式・穴埋め式)をリアルタイムに自動生成するAIプロジェクトです。従来、作問は講師の多大な労力を要していましたが、本システムではカリキュラムや教科書データに基づくRAG(検索拡張生成)アーキテクチャを採用し、ハルシネーションを抑止しつつ児童の習熟度に合わせた問題を無限に生成できます。

プロジェクト概要

学習塾のタブレット教材において、児童・生徒ごとの学習履歴や過去の誤答データ(弱点)に基づき、**パーソナライズされた復習問題(多肢選択式・穴埋め式)をリアルタイムに自動生成**するAIプロジェクトです。 従来、作問は講師の多大な労力を要していましたが、本システムではカリキュラムや教科書データに基づくRAG(検索拡張生成)アーキテクチャを採用。ハルシネーション(事実誤認)を抑止しつつ、児童の習熟度に合わせた「解けそうで解けない」絶妙な難易度の復習ドリルを無限に生成することを可能にしました。

技術的ハイライト

Approach 1

RAGによるシラバス・教科書準拠の作問パイプライン

LangChain + Vector DB (Pinecone / Milvus)

LLM単体での作問は学習指導要領の範囲外の知識を要求するリスク(ハルシネーション)があります。塾の公式テキストやシラバスをベクトルデータベース化し、RAG技術を用いて関連文脈をLLMに注入することで、特定の学年・単元に完全に準拠した問題コンテキストを生成する仕組みを構築しました。

Approach 2

「もっともらしいダミー選択肢」の生成手法

Distractor Generation (DG) / Semantic Similarity

多肢選択式問題のDistractor(ダミー選択肢)の質が問題の良し悪しを決めます。過去の生徒の「よくある間違い(Common Misconceptions)」データベースと意味的類似度(SentenceBERT)モデルを連携し、学習者の弱点を正確に突くダミー選択肢を自動生成するロジックを実装しました。

Approach 3

Deep Knowledge Tracing と連動した難易度制御

DKT / AKT / Item Response Theory

児童のこれまでの解答履歴から現在の理解度を推定するDeep Knowledge Tracing(DKT)の出力を、LLMのプロンプトパラメータに動的に反映。正答率が低い児童には「基礎的な概念を問う問題」を、理解が進んでいる児童には「応用・ひっかけ問題」を生成する適応的学習(Adaptive Learning)ループを完成させました。

最新AI・教育工学研究との関連性

📚

Knowledge Tracing の進化 — DKT から AKT へ

「学習者の理解度を時系列で推定する」という問題は、教育工学の中心課題の一つです。Piech et al.(2015)が提唱したDeep Knowledge Tracing(DKT)はLSTMを用いた先駆的手法ですが、その後も急速に発展しています。2019年のSAKT(Self-Attentive Knowledge Tracing)はTransformerのSelf-Attentionを適用し、2020年のAKT(Attentive Knowledge Tracing)は問題の意味的表現を取り込んだより高精度なモデルです。さらに2023〜2025年には、LLMの文脈理解と知識トレーシングを統合する**LLM-KT(LLM-augmented Knowledge Tracing)**の研究が急増しており、本プロジェクトはこの最先端トレンドを取り込んだ設計になっています。

🔬

Distractor Generation の最新研究動向(2023〜2025)

Distractor(誤答選択肢)の自動生成は、ACL・EMNLP等の主要NLP会議でも活発に研究されているテーマです。従来の手法(WordNet・類義語ベース)から、近年は**Contrastive Learning**(対照学習)を用いて「正解に近いが明確に異なる」表現を生成する手法(Chiang et al., ACL 2022)が有力です。また、ChatGPT/GPT-4のFew-shot prompting能力を活用したDistractor生成(Bitew et al., 2023; NAACL)も精度向上が報告されています。本プロジェクトではこれらの知見を実装に反映し、生徒の誤答パターンデータベースと組み合わせることで従来手法を超えるDistractor品質を実現しました。

🎲
Distractor生成

弱点を突く誤答選択肢

SentenceBERT + Contrastive Learning

生徒の誤答データベース(Common Misconceptions)とSentenceBERT埋め込みを組み合わせ。「意味的に近いが間違い」なDistractorをContrastive Learningベースで生成。

📈
難易度制御

AKT × IRT × LLM

θ (Ability) → Prompt Parameter

AKT(Attentive Knowledge Tracing)でθ(学習者能力パラメータ)を推定。IRTの難易度パラメータbと組み合わせLLMプロンプトに動的反映。完全な適応的学習ループを実現。

品質保証

自動問題検証パイプライン

LLM-as-Judge + Rubric Scoring

生成された問題の品質を別のLLM(Judge)が自動採点。難易度・正確性・教育的価値のRubricスコアが閾値以下の問題を自動棄却するQAパイプラインを実装。

問題生成パイプライン

① AKT / DKTで学習者θ推定
② 関連単元文脈検索
③ 問題文・正答生成
④ Distractor自動生成
⑤ 品質検証

ビジネス・教育的価値

講師の作問コスト削減

従来、1問の問題作成に平均15〜30分を要していた講師の作問業務をAIが代替。無限に生成可能な問題バリエーションにより、同じ問題の使いまわしによる慣れを防止し、学習効果を維持。

個別最適化(Personalization)の実現

クラス全体に同じ問題を出すのではなく、児童A・Bそれぞれの弱点と習熟度に合わせた問題を配信。一人ひとりの「最近接発達領域(Zone of Proximal Development)」に最適化された学習体験を実現。

学習データの蓄積と再活用

生成された問題と生徒の回答データが蓄積されることで、Knowledge Tracingモデルの精度が継続的に向上するフライホイール効果が生まれ、システムが自己改善し続けるループを形成。

カリキュラム準拠の品質保証

RAGによる文脈注入でLLMが教科書の範囲外を逸脱するリスクを抑制。さらにLLM-as-Judgeパイプラインが自動的に教育的品質をスコアリングし、低品質問題を本番配信から除外。

プロジェクト情報

カテゴリ

AI開発 / 生成AI / NLP / EdTech

年度

2025

分野

適応的学習 / 教育NLP / 問題自動生成

言語

Python 3

技術スタック

LLM (GPT-4o / Claude 3.5)RAG (Retrieval-Augmented Generation)LangChain / LlamaIndexVector DB (Pinecone / Milvus)SentenceBERTDeep Knowledge Tracing (DKT / AKT)Contrastive LearningLLM-as-Judge

キーワード

LLMRAGハルシネーション抑制Distractor GenerationDeep Knowledge TracingAKTIRT適応的学習個別最適化Contrastive LearningLLM-as-JudgeEdTech

ハイライト

  • RAG(教科書ベクトルDB)によるカリキュラム準拠のハルシネーション抑制作問パイプライン
  • SentenceBERT × Contrastive Learningで生徒の弱点を突くDistractor自動生成
  • AKT(Attentive Knowledge Tracing)× IRTによる学習者能力推定と難易度動的制御
  • LLM-as-Judgeによる生成問題の品質自動検証・棄却パイプライン
  • DKT→SAKT→AKT→LLM-KTの最新知識トレーシング研究の実用システムへの実装