Overview
初期の推論モデル開発完了後、実際の教育現場への導入に向け、約10ヶ月間にわたり継続的な精度評価とモデルチューニングを実施。児童の未知の運筆パターンや新しいタブレット端末特有のノイズを分析。誤分類の推移をトラッキングし、実環境で高い精度とUXを維持し続けるための堅牢なAI運用パイプラインを構築しました。
プロジェクト概要と運用の軌跡
初期の推論モデル開発（PoC）完了後、実際の教育現場（タブレット教材）への導入に向け、約10ヶ月間にわたり継続的な精度評価とモデルチューニング（MLOps）を実施しました。月次の定例報告を通じて、児童の未知の運筆パターンや新しいタブレット端末特有のノイズ（データドリフト）を分析。誤分類（Confusion Matrix）の推移をトラッキングし、実環境で高い精度とUX（ユーザー体験）を維持し続けるための堅牢なAI運用パイプラインを構築しました。
技術的ハイライトと改善プロセス
エッジ推論の高速化とモデル量子化
ONNX + INT8 + WebAssembly
児童が文字を書いた瞬間に「正解・不正解」をフィードバックするため、クラウド通信を介さないエッジAI化が必須でした。PyTorchモデルをONNXフォーマットへエクスポートしINT8量子化を適用。さらにWebAssembly（Wasm）を用いてブラウザ上で直接推論を行うことで、推論時間を50ms以下に抑え、レイテンシのない滑らかな学習体験を実現しました。
月次サイクルでの精度監視とデータドリフト対応
Confusion Matrix Tracking
定例報告において、毎月の本番データから「字形」「筆順」「とめ・はね・はらい」の各評価軸に対する精度推移を可視化。正答率が低下しやすい類似文字（「そ」と「を」、「シ」と「ツ」等）のエッジケースを特定し、再学習パイプラインへフィードバックする継続的インテグレーションの仕組みを確立しました。
XAIによる指導フィードバック生成
Attention Visualization / Explainability
単にマルバツをつけるだけでなく、「なぜバツになったのか」を児童に伝えるためにStroke Attentionのアテンション・ウェイトを可視化。児童が間違えた箇所（交差位置のズレ、はらいの不足等）をヒートマップ的に特定して的確な指導ヒントを生成するロジックを評価システムに組み込みました。
MLOpsサイクルとフィードバックループ
MLOpsの重要性 — 「本番環境はPoCとは違う」
初期モデルの開発精度が高くても、本番環境ではデータドリフト（児童の学年変化・新型タブレット導入・季節性）により精度が劣化します。2023〜2025年にかけて、MLOpsの重要性は業界全体で再認識されており（Gartner, MLflow, Weights & Biasesなどのエコシステム急成長）、本プロジェクトではその知見を10ヶ月の実運用で体現しました。特にエッジAIのMLOpsは、クラウドと異なりモデル更新の配布コストも考慮した設計が必要です。
推論時間 < 50ms
WebAssemblyによるブラウザ内推論で通信ゼロのリアルタイムフィードバック。タブレット内蔵NPU/CPU上での50ms以下推論を実現。
月次Confusion Matrix追跡
類似文字（そ/を、シ/ツ等）の誤分類パターンを月次でトラッキング。データドリフトを早期検知し再学習サイクルへフィードバック。
アテンション可視化
Stroke Attentionの重みを可視化して「どの画で間違えたか」を特定。児童への指導ヒント生成ロジックをシステムに組み込み。
プロジェクト情報
カテゴリ
MLOps / エッジAI / 本番運用
年度
2024
分野
教育AI / 継続的モデル改善 / エッジデプロイ
言語
Python / JavaScript
技術スタック
キーワード
ハイライト
- ✓PyTorch→ONNX→INT8量子化→WebAssemblyの完全なエッジデプロイパイプライン
- ✓類似文字エッジケースのデータドリフト自動検知と再学習フィードバックループ
- ✓Stroke Attentionの可視化（XAI）による指導ヒント生成機能の本番実装