AI自動採点の開発記録

手書き答案をAIで自動採点する機能を自作のデジタル採点プログラムに搭載した。性能のテストを繰り返す中で思っても見なかった不思議な現象に気がついた。それは「英単語や四字熟語」等はよく推論できるのに「かな1文字・数字や記号1文字」の推論精度が伸びないこと。なんで文字列より単一文字の推論という「より簡単」に思えることが出来ないのか？　その原因を追いかけた記録です。

【もくじ】

１．５段構えで読む、という仕組み
２．見えてきた壁：文字列は良いのに、一文字が伸びない
３．はずれた仮説、当たった仮説
４．最大の気づき：賢く読ませるより、選べる範囲を絞る
５．安全側に倒す設計
６．技術スタックとライセンス
７．正解率
８．お願いとお断り

【AI自動採点機能の搭載について】

このプログラムは、紙のテストをスキャンして採点・集計する「デジタル採点プログラム」に、 手書きの解答をAIが自動で読み取って正誤判定する機能を載せたものだ。 クラウドのAPIには、データの判定を一切投げていない。生徒の答案という個人情報を含むデータを 外に出したくなかったので、文字認識のモデルはすべて手元のPCで動かしている。

「AI自動採点」機能を搭載後、実際の手書き答案のデータを用いての動作検証を繰り返し行った。単語や短い文章の解答はかなり実用的な精度で自動採点できており、英単語や難読漢字などの採点では、正直、予想以上の精度で動作することに驚いた。ところが「あ」「イ」「３」「○」のような1文字だけの解答になると、 とたんに雲行きが怪しくなる。採点結果が「要確認（人の目で見る）」に回される量が多く、さらに不正解の解答を誤って正解と推論してしまうこともあった。『なんでより簡単に思えることが出来ないのか？』この記事は、その原因を追いかけて 潰していった記録です。

１．５段構えで読む、という仕組み

手書き文字のAI自動採点では、１文字の解答は、次の５段階を順番に試し、どこかで模範解答と一致した時点で 自動採点が確定する仕組み。５段階すべてが不一致なら、無理に推論せず（○×を付けず）に、人の目視確認へ回す安全策付き。

２．見えてきた壁：文字列は良いのに、一文字が伸びない

実際の答案で動作検証した結果を集計すると、単語・短文の解答のAI自動採点はヒトの目視による要確認に回される割合が低く、採点の誤りも少なかった。一方で1文字の解答だけを解答欄から取り出すと、専用学習モデルが模範解答を正しく推論できる割合は、当初２割に届かない水準だった。 「賢い漢字OCR」と「専用の手書き分類モデル」という二段構えのはずが、単一文字・記号専用学習モデルのほうが足を引っ張っている——というのが今回のチャレンジの出発点だった。

【文字列の推論】

模範解答を次のように設定して採点。全て正しく推論できた。（法的な問題から画像は掲載しません）

【文字の推論】

例：カタカナの「ク」など（法的な問題から画像は掲載しません）

AI自動採点による推論が失敗し、ヒトの目視による採点へ回されたデータが多数出現。
加えて、明らかに正解のデータでも推論に失敗し、不正解にされたデータが多数出現。

３．はずれた仮説、当たった仮説

いったい、これはどういうことなのか？　常識的に考えて、より困難に思える “Monday” の推論には完全に成功し、「ク」の推論には「失敗＆判定回避」のデータが多数出現するなんて･･･。

最初に疑ったのは「専用学習モデルの答えを採用する基準（確信度のしきい値）が 他の照合段より厳しすぎるのでは」という点だった。実際、他の4段にはすべて 確信度の下限が入っているのに、専用学習モデルの段だけそれが抜けていた欠陥を発見、これを修正した。しかし、実データで測り直すと、ほぼ効果がなかった。いったいこれはどういうことなのか？　非correctになっていた答案を一つずつ確認すると、専用学習モデルは低い確信度で 正解を出していたのではなく、高い確信度で別の字を答えていた。 つまり、問題は「自信のなさ」ではなく「自信満々の誤読」であることが判明した。

そこで、専用学習モデルに渡す直前の画像そのものを見てみることにした。すると、 解答欄の枠線が答案の切り出し範囲に写り込み、肝心の手書き文字が 画像の隅に数ピクセルほどしか残っていないケースが半数近くあることがわかった。

この手書き文字の切り出し処理を直しただけで、専用モデルが模範解答を正しく言い当てる割合は 2倍近くまで伸びた。加えて、解答欄に印刷された小問番号　例：(3) などが 手書き文字と同じマスに同居しているケースでは、その印刷文字ごと1つの塊として 切り出されてしまう不具合もあり、これも小問番号と手書き文字を正しく切り分けて、手書き文字の画像のみ取得できるように修正。

４．最大の気づき：賢く読ませるより、選べる範囲を絞る

手書き文字のみ正しく切り出せるようにプログラムを修正してもなお、正答率が伸び悩む設問がいくつか残ってしまった。いったいナニが原因なのか？　実際、文字「ア」ならほぼ期待通りに採点してくれるようになったのに、これが文字「ク」だと極端に推論に失敗するケースが増えてしまう。

「ク」の手書き文字画像を、じっと見て考えた。そしてあることに気づいた。それは何かというと、正解を伏せた状態、つまり、これは「ク」だと考えずに各文字を眺めてみたところ、「ク」に読めず「ケ」に感じるものや、数字の「７」に見えるものが多数あったのだ。つまり 人間が見ても一意に読めないことにここで初めて気づいた。ある「ク」は、見ようによって 候補のうちの複数の字のどれにでも見える——つまり、その1文字の画像だけでは「決め手になる情報が欠けている」ことが誤判定の根本的な原因であることにようやく気づけたのだ。

ならば、どうしたら、いいのか？

いちばん最初に考えたのは、学習データをさらに増やすことだ。正直、作業量を考えるとウンザリしたが、最も効果的に思えるのは良い学習モデルを作ること。これに勝る対策はないはず。そう考えて信頼する AI に確認すると、なんと回答は不推奨。「ク」のような「ケ」や「７」によく似た文字は、学習データを増やしても良い結果になかなか結びつかないらしい。これは機械学習モデルの限界というより、似た文字を区別するための特徴量が本質的に弱いために起きる、当然と言えば当然の現象。対策として、「局所的な識別領域を強調すると類似文字の認識精度が向上する」という情報があるにはあったが、まさか「ク」だけにそれを実行するわけにもいかない！　やるなら、すべての文字についてその類似文字を挙げ、局所的な識別領域を強調して学習モデルを作る処理を実装しなければならない。コトがデカすぎる･･･。ということで、この処理の実装はあきらめることに。

あーでもない。こーでもないと、さんざん考えてようやくたどりついた結論は、発想そのものを逆転させることだった。つまり、学習データを増やしてモデルを賢くする方向ではなく、 その設問に実際に用意されていた選択肢という、人間の採点者なら 当たり前に持っている手がかりを、推論時に学習モデルにも渡してやればいい。すなわち、正解が「ク」なら、推論の対象は「カキクケコ」の中の１文字とすることで、少なくても数字の「７」は除外できる。

そう思って作成した仕組みがコレ。

一括して設定できるようにさらに改良。実装としては、模範解答を入力する画面に「この設問の選択肢はこれです」と 教員が明示的に書けるようにし、専用モデルの判定範囲をその文字だけに絞る、 という形にした。効果は大きく、ある設問では自動正解が1桁台から 40件台（43名中）まで伸びた。

考え方として、まとめれば･･･

実は当初、「模範解答から選択肢を自動で推測できないか」も試してみた。しかし、この方法で実測すると 精度がおよそ半分しか出ず、しかも適切でない設定も「設定済み」に見えてしまうぶん、かえって 入力し忘れに気づきにくくなってしまうことに気づいた。なので、いい加減に推測するくらいなら空欄のままにして、 入力を促す方が安全と判断し、自動推測は採用しなかった。

また、ふと思い立って、正解「ク」に対して、「選択肢：カキクケコ」ではなく、「選択肢：ク」と設定して実行してみたところ、なんと どの答案画像も正解と判定されてしまう 恐るべき抜け穴を発見。原因は単純で、選べる文字が1種類しかないと「候補の中でどれが 一番それらしいか」という確率計算が、常に100%に丸まってしまう仕様上の性質だった。もちろん、あわてて「選択肢が2文字未満なら、この絞り込み自体を 無効化する」という安全策を追加した。

５．安全側に倒す設計

一連の改善で最後まで譲らなかった基準もある。それは「自動採点する件数を 増やす」ことよりも「誤って正解（○）にしてしまう件数を増やさない」ことを優先する という基準だ。判定に迷うくらいなら、敢えて強行推論せず（ ○ × を付けず）に人による目視確認へ回す。これは 最初の5段カスケードの設計思想そのものだ。こうすることで、より安全で安心なプログラムとすることができるのではないかと考えた。

プログラムを改良するたびに実データで前後の採点結果を突き合わせ、この数字が動いていないかを 毎回確認することにした。加えて、しきい値や画像処理を変更するたびに手を動かして 再確認するのは限界があるので、実際の答案画像と目視で確定した正解ラベルを 使った小さな回帰テストを用意した。数秒で走り、設定を1つ戻す実験をしたところ 実際に数値の悪化として検知できることも確かめた。

６．技術スタックとライセンス

認識エンジンはすべてローカルで完結する構成にした。汎用の文字認識には ONNX Runtime上で動かす軽量なOCRモデルを、1文字判定には独自に収集した 手書き文字の画像データで学習した小さな分類モデル（隠れ層2層の多層パーセプトロン）を 使っている。どちらもクラウドへは一切接続しない。

今回紹介した「AI自動採点機能」を追加する前のデジタル採点プログラムは MS_Reader V3 という名称で、このブログの過去記事内でMITライセンスで公開しています。

MS_Reader V3（完全無料のマークシートリーダー・超高速読取り・極軽量本体わずか４MB・手書き答案のデジタル採点機能付き＝横書き＆縦書き両形式答案に対応・観点別評価対応・成績一覧表、正答率一覧表、採点・配点・正解マーク＆得点合計＆順位付き返却用答案の作成と印刷・CSV出力・音声読み上げ・答案画像の傾き補正・マークシート作成ソフトも同梱・動作保証一切なし・サポートなし・バグあるかも？・完全自己責任のもとでのみご使用いただけます）

今回紹介した「AI自動採点機能」付きのデジタル採点プログラムは、実際の高校現場の定期考査でさらなる動作検証を重ねて行い、今後、しかるべき時期に、このブログからダウンロード出来るようにする予定です。

「モデルが賢くない」と思っていた不調のかなりの部分が、実はモデルに渡す前の 画像処理と、モデルに与える文脈情報の不足だった——というのが、今回得られた一番の収穫だった。次にまとまった時間が取れたら、採点記号（○△×）や数字の学習データを もう少し厚くする作業に取りかかりたいと思っている。それが出来たら、次は数式の自動採点にチャレンジだ！

７．正解率

（１）記号

（２）数字

（３）アルファベット（大文字のみ）

（４）ひらがな・カタカナ（あ～こ・ア～コ）

【正解率まとめ】

この結果から見る限り、実用レベルになるのは記号（ ○・△・× ）の自動採点でしょうか？

ただ、単一文字のAI自動採点ではなく、英単語や難読漢字（四字熟語）などの採点はそれなりに推論に成功していますので、こちらは実用レベルで使えそうです。

８．お願いとお断り

このサイトの内容を利用される場合は、自己責任でお願いします。記載した内容を利用した結果、利用者および第三者に損害が発生したとしても、このサイトの管理者は一切責任を負えません。予め、ご了承ください。

答案画像の手書き文字をここに掲載した場合、当該文字画像が意図せず広く出回ることへの配慮等、様々な観点から検討した結果、この記事では、たとえ記事の信頼性を損なう結果となっても 実際の手書き文字の画像そのものは掲載しない 方針としました。本文中の図はすべて、説明のために新たに描き起こした模式的なイラストであり、実在するいかなる人物の筆跡でもありません。