マークシートリーダーをP4Dで高速化

マークシートリーダー第２弾！
今回は Python環境を組み込んで、マークの読み取り速度を高速化します。
出来る限り丁寧に組み込み方法を説明しますので、どうか最後までお付き合いください。

前回の記事はこちらからどうぞ

追記（20240929）

当Blogで紹介してきた自作のデジタル採点プログラムを一つにまとめました。次のリンク先にその紹介とダウンロードリンクがあります。

デジタル採点 All in One !

【追記_P4D環境で読み取り実行時、エラーが発生するときは？】

Python環境を組み込んで、これを利用してマークシートの読み取りを実行する場合、次のエラーが発生することがあります。エラーの内容からは推測すると、エラーはテンプレートマッチングの際に利用するテンプレート画像のサイズに起因して起きているように見えますが、ほんとうの原因は違います。

このマークシートリーダーは、Python環境を利用して動作する際は、マークの有無を読み取るJpeg画像の名称（及びフォルダの階層）が次の規則に従っていることを前提としています。

ProcData\XXX\Sample-01.jpg
ProcData\XXX\Sample-02.jpg
ProcData\XXX\Sample-03.jpg
･･･
ProcData\XXX\Sample-40.jpg
ProcData\XXX\Sample-41.jpg

この命名規則にJpeg画像のファイル名（及びフォルダの階層）が従っていない場合、読み取りエラーが発生します。例えば、次のような場合です。

ProcData\XXX\Sample-01a.jpg
ProcData\XXX\Sample-01b.jpg
ProcData\XXX\Sample-02a.jpg
ProcData\XXX\Sample-02b.jpg
･･･
ProcData\XXX\Sample-40a.jpg
ProcData\XXX\Sample-40b.jpg
ProcData\XXX\Sample-41a.jpg
ProcData\XXX\Sample-41b.jpg

特に数学（や情報）用途で２枚１セットのJpeg画像を処理する際は、注意してください。このエラーを防止するには、ファイルメニューの「１画像変換」⇨「専用画像を作成」を利用してファイル名が必ず連番になるように読み取り専用Jpeg画像を生成して、この画像に対して、マークの読み取りを実行してください。

以下、発生するエラーメッセージの一覧です。

なお、Python環境を利用しないモード（P4Dを使用のチェックボックスをOFF：下図右上）であれば、読み取り対象Jpeg画像ファイルの名称は動作に関係しないので（読み取り速度は低下しますが）、読み取り可能です。

画面右上の □ P4Dを使用のチェックを外して、Delphi用のOpenCVで読み取りを実行。
読み取り速度は低下しますが、マークを正しく読み取っています。

【読み取り実行前に、選択肢の始まり番号も指定してください】

選択肢の番号は、デフォルト１始まりに設定してあります。教科「情報」用途で読み取りを実行する場合は、読み取り実行前に、選択肢が「１」始まりであるのか、「０」始まりであるのか、その指定を画面上の設定欄で必ず指定してください。

【もくじ】

１．Python環境を準備する（組み込み用Pythonのダウンロードリンクがあります）
２．Python環境のドッキング
３．高速化の確認
４．システムにC++ランタイムライブラリがない場合は？
５．Python Engine の初期化の問題？他
６．まとめ
７．お願いとお断り

１．Python環境を準備する

Qiita の記事で「 Embeddable Python 」なるものの存在を知り、ほぼ同時に Delphi に Python のスクリプトを埋め込んで、VCL で GUI を作成、内部的に Python のスクリプトを実行する方法を学びました。

この辺の詳しい経緯は、かなり前に記事として書いた通りです。

Delphi & Embeddable Python

2022/01/01

Download Embeddable Python and Install the library

2022/01/02

こうして出来上がった、マークシート読み取りに必要なライブラリだけをインストールした、組み込み用のPython環境の内容は、こんな感じです（組み込み用途に作成した Embeddable Python があるフォルダをコマンドプロンプトで開き、「 Python -m pip list 」コマンドを実行した結果です）

ライブラリの主役は Numpy と OpenCV-Python。
Pillow は、日本語を含む Path を読むためにインストール。

最初に用意した Embeddable Python が14MBくらいで（おー！ちいさい☆）と喜んだけど、上記のライブラリを三つ入れたら 158MB に･･･。

ライブラリを構成しているファイルの依存関係がわかれば、必要ないファイルを消しまくって、もっと小さく出来ると思うのですが･･･、その具体的な方法がわかりません！！

仕方がないので、そのまま組み込み用の「Python39-32」フォルダを作成。

フォルダ名の Python は、「Python関連のフォルダだよ！」ってコトが一目でわかるように工夫（？）しました。その次の 39 はVersion番号、ハイフンで繋いだ 32 は 32bit 用って意味です。

これを前回紹介したマークシートリーダーにドッキングさせます。

展開に少々時間がかかりますが、もし、よかったら使ってください。
MS_Reader 組み込み用 Embeddable Python です。

Python39-32.zipをダウンロード

1 ファイル 56.39 MB

ダウンロード

２．Python環境のドッキング

ダウンロードした「Python39-32.zip」を MS_Reader.exe のあるフォルダにコピー・貼り付け、展開してください。※ 動作確認が完了したら「Python39-32.zip」は削除しても OK です！

【展開前】

MS_Reader.exe とダウンロードした Python39-32.zip を同じ階層に置き、
zipファイルを展開（右クリックして「すべて展開」を選択）してください。
展開にはしばらく（１～２分）時間がかかります。

展開時のPC環境？によっては「ものすごく（20～30分）」時間がかかることが実際にありました！！（原因はわかりませんが、時間がかかるだけで、展開そのものは正しく行われました）

【展開後】

重要　MS_Reader.exe と Python39-32 フォルダは同じ階層に置いてください。

MS_Reader.exe と Python39-32 フォルダは必ず同じ階層に置いてください。

ここで念のため「Python39-32」フォルダの構造を必ず確認してください。

〇：Pathに注目してください。これならOK！

MS_Reader\Python39-32\Lib であり、また、
MS_Reader\Python39-32\Scripts であります。

これはダメです。Pathが二重になってます。

MS_Reader\Python39-32\Python39-32\Lib
MS_Reader\Python39-32\Python39-32\Scripts

上の「ダメな例のようにならない」ようにPython39-32.zipを作成しましたから、大丈夫だと思いますが･･･念のため、必ずご確認いただけますようお願いいたします。

以上が『ドッキング作業』です！！

MS_Reader.exe と同じフォルダに、Python39-32.zip をコピペして、展開すれば Python環境のドッキングは完了です。

これを夢見て、ンか月。マジ、挫けそうな時もあった･･･けど。

MS_Reader.exe をダブルクリックして、マークシートリーダーを起動してみてください。

僕のマークシートリーダーは、自動的に、高速動作モードで、起動します。

３．高速化の確認

Python環境がないと（MS_Reader.exe がある場所に Python39-32 フォルダがない場合）･･･

MS_Reader 起動時、マークシートの読み取りを高速化するP4D（PythonForDelphi）モードは利用できませんが、

Python環境があれば（MS_Reader.exe がある場所に Python39-32 フォルダがある場合）･･･

マークシートの読み取りを高速化するP4D（PythonForDelphi）モードを利用する状態で、MS_Reader は起動します。

当たり前ですが、ダミー（中が空っぽ）の「Python39-32」フォルダを作成し、設定を偽ってMS_Readerを起動しても、メリットは何一つありません！

エラーが２つ出るだけです。

実際に、空の「 Python39-32 」フォルダを作成して実験してみました！

もう一つ。

こんなコトする方は皆無と思いますが。あくまでも、プログラムの動作検証として、ご参考まで。

【動作確認】

前回、設定したテンプレートを利用して動作確認します。

いったん、「P4Dを使用」のチェックを外して読み取りを実行します。前回試行した３列25行８選択肢の１枚あたり600マークあるシート３枚の読み取りにかかる時間は･･･

１枚0.805秒で読んでます（PC環境により、数値は当然異なります）が･･･

「P4Dを使用」のチェックを ON にして再び読み取りを実行します。私の PC での結果は･･･

１枚0.245秒強で読みました。

これが速度的に「はやい」か・どうか、このソフトウェアをお使いいただく方により、その判断基準は異なりますから、その思い（感じ方）は違って当然ですが、Python環境を利用しない場合に比較して、Python環境を組み込み、これを利用した場合は（PC環境により、その数値は悉く異なると思われますが）マークの読み取り速度は間違いなく高速化されるはずです（僕の環境では、「それがない」場合に比較して、「それがある」場合は3.3倍速で動作しました）。

ただ、Python環境を組み込んだ場合、プログラム全体の大きさは、12倍以上に巨大化します･･･

プログラムサイズを選ぶか、動作速度を優先するか、
ご使用目的、お使いのPC環境に合わせて選択していただけたら幸いです。

僕は･･･

今日の空みたいな･･･

プログラムを書きたかった･･･だけです (^_^)♪

僕が、この世から消えたあとも、動く。

いつか、夢みたとおりの･･･プログラムを。

だいすきな･･･

大好きな Delphi と･･･

僕の Object Pascal で。

４．システムに Visual C++ランタイムライブラリがない場合は？

お使いのシステムに Visual C++ランタイムライブラリがインストールされていない場合は、MS_Reader 起動時に次のエラーが発生します。

『アプリケーションを正しく初期化できませんでした（0xc0150002）。「OK」をクリックしてアプリケーションを終了してください。』

英文の場合もあるようです。

このエラーが発生する原因を調べてみたところ、組み込みPython環境内にある「Python39.dll」が Visual C++ランタイムライブラリを必要とするようで、これがシステムにない場合は、プログラム起動時にバックグラウンドで行っているPython Engine の初期化に失敗して、上記のエラーメッセージが表示されることがわかりました。

お使いのPCで、Visual C++ ランタイムライブラリのインストール状況を確認するには、[スタート] ボタンを右クリックし、「ファイル名を指定して実行」をクリックして、appwiz.cpl と入力して[Enter]を押します。Python環境を組み込んだ MS_Reader が動作する環境であれば、システムにインストールされている Microsoft Visual C++ ランタイムライブラリが以下のように表示されるはずです。

現在、私のシステム（Windows 11 Pro 23H2）にインストールされているC++ランタイムライブラリの一覧。
もちろん、このシステムでPython環境を組み込んだマークシートリーダーが正常に動作しています。

システム内で起きていた別のエラーを解決するために、2023年12月上旬に工場出荷状態に戻すリカバリ作業を行いました。同時にOSを最新のバージョンに更新しました。それ以前のシステムの状態は次の通りです（OS のバージョンは 22H2）。※ 私のPCでの話です。

現在の状況とは異なっています。
この状態でもPython環境を組み込んだマークシートリーダーは正常に動作していました。

エラーを解決するには、Visual C++ランタイムライブラリをインストールすればいいわけですが、上の例のように Visual C++ ランタイムはたくさんあるので、手動でひとつひとつダウンロードしてインストールするより、Visual C++ ランタイムインストーラーを使って全ての Visual C++ ランタイムを一括インストールする方が簡単です。

システムをリカバリする前は、次のようにして Visual C++ ランタイムをインストールしていました。

【ご注意願います！】
ここで紹介する方法で Visual C++ ランタイムをインストールする場合、他のプログラムの実行環境との整合性は、一切保証できません。また、最悪の場合、Windowsが起動しなくなるトラブルが発生することも十分に考えられます。インストール作業の全てが自己責任であることを十分ご理解の上、重大な問題が発生した場合は元の環境に戻せるよう、システムのバックアップを取る・現在の設定をメモに記録する等、不具合の発生に備え、必要かつ十分な準備を整えた上で、Visual C++ ランタイムのインストールを行ってください。

以下のサイトから「Visual C++ v56.exe」をダウンロードしてインストール（私の環境にインストールする分には、なんの問題も起きませんでした。もちろん、マークシートリーダーも問題なく起動し、安定動作しました）。

Visual C++ Runtime Installer (All-In-One) v56
https://www.majorgeeks.com/files/details/visual_c_runtime_installer.html

こちらのWebサイトでも（次のリンク先Webページの下の方で）、このインストーラが紹介されています。

Microsoft Visual C ++ 再頒布可能ファイルを削除して再インストールする方法
https://www.autodesk.co.jp/support/technical/article/caas/sfdcarticles/sfdcarticles/JPN/How-to-remove-and-reinstall-Microsoft-Visual-C-Runtime-Libraries.html

インストーラーを立ち上げると、本当にインストールするかどうかを「YES」か「No」かで尋ねられるので、インストールする場合は「Y」をタイプします。その後はPCの画面に表示される英文の指示にしたがって操作してください。

ここから先は、上記のインストーラーを用いて Visual C++ ランタイムをインストールした際、私が実際に経験したトラブル？です（最終的にインストールは成功しました）。

お決まりのUAC起動後（PCの設定によっては）管理者ID 及びパスワードの入力が求められますが、これを入力すると、そのままPCがフリーズしたような状態になり、数分待機しても進展が見られないので、いったん作業を Ctrl＋Alt＋Delete でキャンセルし、再度、「Visual C++ v56.exe」を起動して Visual C++ ランタイムのインストール作業を実行、今度はトラブルなくインストールに成功する事例です。これは「ある特定のAD環境下にあるPCのすべてに共通して見られた」現象です。現在もその原因はわかりませんが、ご参考まで。

また、システムの状態によっては（現在システムにあるランタイムをアンインストールしているのか？）複数回（と言っても最高２回ですが）、再起動を求められることも（何度も）経験しました。

C++ランタイムライブラリのインストールについて、経験を加味して私がわかるのはここまでです（実は、何もわかってないのとイコールなのですが）。これ以外のエラーメッセージが表示されてインストーラーが起動しない場合も、もしかしたらあり得るかもしれません。大変恐縮ですが、そのような場合は原因の究明を含めて、自己責任でご対応ください。

５．Python Engine の初期化の問題？他

MS_Reader では、マーク読み取り時の体感速度を上げるため、FormCreate時にバックグラウンドで Python Engine の初期化を行っています。MS_Reader.exe のあるフォルダに小さなマークシートの画像とマーカー画像があるのにお気づきになった方がいらっしゃるかもしれません。これは Python Engine 初期化用に用意した画像です。

Python Engine 初期化用の画像をリソースに埋め込み、もし、それがない場合は再生して、
プログラム起動時に Python Engine の初期化が必ず行われるようにしています。

この初期化を「するか・しないか」で、MS_Reader 起動後、初めてマークを「読む」ボタンをクリックした際のプログラムの挙動がまるで違ったものになります。初期化を行った場合は、ごくスムーズにマーク読み取りが始まるのに対し、行わなかった場合は PC が一瞬フリーズしたような状態になり、その後、息を吹き返すかのようにマークの読み取りが始まります。

Python Engine の初期化コードです。

  AppDataDir:=ExtractFilePath(Application.ExeName)+'Python39-32';

  if DirectoryExists(AppDataDir) then
  begin
    //フォルダが存在したときの処理
    CheckPython.Enabled:=True;
    CheckPython.Checked:=True;
    PythonEngine1.AutoLoad:=True;
    PythonEngine1.IO:=PythonGUIInputOutput1;
    PythonEngine1.DllPath:=AppDataDir;
    PythonEngine1.SetPythonHome(PythonEngine1.DllPath);
    PythonEngine1.LoadDll;
    PythonDelphiVar1.Engine:=PythonEngine1;
    PythonDelphiVar1.VarName:=AnsiString('var1');
    PythonEngine1.Py_Initialize;
    //イニシャライズされたことを記憶
    P4D_ini:=True;
  end else begin
    CheckPython.Checked:=False;
    CheckPython.Enabled:=False;
    PythonEngine1.AutoLoad:=False;
    P4D_ini:=False;
  end;

（どこに問題があるのでしょうか？）

PC によっては、この Python Engine の初期化に非常に長い時間を要することがあるようです（エラーメッセージは出ません。この沈黙の時間が終わった後、プログラムは問題なく動作します）。偶然、ある PC でこの現象に巡り合い、あわてて時間を計ってみたところ、その PC では初期化に４分必要でした！なぜ、このような現象が発生するのか、その理由がわからないのですが、「そのようなことがある」ことだけは経験的に明らかですので、ここに書いておくことにしました。

また、マーク読み取り開始時に、マーカー画像の位置をテンプレートマッチングで確認して、それが「本当に見えている」ことをユーザーに明示的に知らせていますが、ここでもその処理に少し時間が必要なことがあります。私のPCでも、この現象は「起きたり・起きなかったり」するような気が･･･。エラーが出るわけでもなく、ただ･･･「ん？」みたいな時間があるだけなのですが･･･。こちらもその原因がよくわかりません。

以上が、現象としてはわかっているのですが、原因が解明できていないPython環境を使う上での問題点です。

それから、私の想定外の操作が行われた場合、メモリーリークが起きる可能性があります。Python環境をドッキングさせた当初は、このメモリーリークにかなり悩まされました。どう頑張っても小さなメモリーリークが発生するのを取り切れず、（ Python環境はそういうもの？）と割り切ってしまおうかと思ったこともあったくらいです。

そのたびに思い直し、メモリーリークが発生する原因を突き止めて対応することを繰り返しました。なので、私が想定した操作範囲内でのメモリーリークは全て取り切れたと思います。が、もし、それが発生した場合は、その発生を知らせるメッセージがプログラム終了直後に表示されます（ FormCreate時に実行されるコードの中にメモリーリークがあれば検出するコードを残してあります）。

  //メモリーリークがあれば検出
  ReportMemoryLeaksOnShutdown:=True;

メモリーリークが起きたことを伝えるメッセージ
（上の例のメモリーリークは故意に発生させたものです）

６．まとめ

（１）Python環境を利用するとマークシートリーダーは高速化できる。
（２）高速化できるかわりに、プログラム全体のサイズは大きくなる。
（３）原因不明のフリーズのような現象が発生することがある。

７．お願いとお断り

このサイトの内容を利用される場合は、自己責任でお願いします。ここに記載した内容及びダウンロードしたプログラムを利用した結果、利用者および第三者に損害が発生したとしても、このサイトの管理者は一切責任を負えません。予め、ご了承ください。

Object Pascalと僕と

Codeing Tips Memoranda ～プログラミングの覚書たち～

マークシートリーダーをP4Dで高速化

追記（20240929）

【追記_P4D環境で読み取り実行時、エラーが発生するときは？】

【もくじ】

１．Python環境を準備する

Python39-32.zipをダウンロード

２．Python環境のドッキング

展開時のPC環境？によっては「ものすごく（20～30分）」時間がかかることが実際にありました！！（原因はわかりませんが、時間がかかるだけで、展開そのものは正しく行われました）

重要　MS_Reader.exe と Python39-32 フォルダは同じ階層に置いてください。

〇：Pathに注目してください。これならOK！

これはダメです。Pathが二重になってます。

以上が『ドッキング作業』です！！

MS_Reader.exe と同じフォルダに、Python39-32.zip をコピペして、展開すれば Python環境のドッキングは完了です。

これを夢見て、ンか月。マジ、挫けそうな時もあった･･･けど。

MS_Reader.exe をダブルクリックして、マークシートリーダーを起動してみてください。

僕のマークシートリーダーは、自動的に、高速動作モードで、起動します。

３．高速化の確認

当たり前ですが、ダミー（中が空っぽ）の「Python39-32」フォルダを作成し、設定を偽ってMS_Readerを起動しても、メリットは何一つありません！

エラーが２つ出るだけです。

【動作確認】

プログラムサイズを選ぶか、動作速度を優先するか、
ご使用目的、お使いのPC環境に合わせて選択していただけたら幸いです。

僕は･･･

今日の空みたいな･･･

プログラムを書きたかった･･･だけです (^_^)♪

僕が、この世から消えたあとも、動く。

いつか、夢みたとおりの･･･プログラムを。

だいすきな･･･

大好きな Delphi と･･･

僕の Object Pascal で。

４．システムに Visual C++ランタイムライブラリがない場合は？

５．Python Engine の初期化の問題？他

６．まとめ

７．お願いとお断り

追記（20240929）

【追記_P4D環境で読み取り実行時、エラーが発生するときは？】

【もくじ】

１．Python環境を準備する

Python39-32.zipをダウンロード

２．Python環境のドッキング

展開時のPC環境？によっては「ものすごく（20～30分）」時間がかかることが実際にありました！！（原因はわかりませんが、時間がかかるだけで、展開そのものは正しく行われました）

重要 MS_Reader.exe と Python39-32 フォルダは同じ階層に置いてください。

〇：Pathに注目してください。これならOK！

これはダメです。Pathが二重になってます。

以上が『 ドッキング作業 』です！！

MS_Reader.exe と同じフォルダに、Python39-32.zip をコピペして、展開すれば Python環境のドッキングは完了です。

これを夢見て、ンか月。マジ、挫けそうな時もあった･･･ けど。

MS_Reader.exe をダブルクリックして、マークシートリーダーを起動してみてください。

僕のマークシートリーダーは、自動的に、高速動作モードで、起動します。

３．高速化の確認

当たり前ですが、ダミー（中が空っぽ）の「Python39-32」フォルダを作成し、設定を偽ってMS_Readerを起動しても、メリットは何一つありません！

エラーが２つ出るだけです。

【動作確認】

プログラムサイズを選ぶか、動作速度を優先するか、ご使用目的、お使いのPC環境に合わせて選択していただけたら幸いです。

僕は･･･

今日の空みたいな･･･

プログラムを書きたかった･･･だけです *(^_^)*♪

僕が、この世から消えたあとも、動く。

いつか、夢みたとおりの･･･ プログラムを。

だいすきな･･･

大好きな Delphi と･･･

僕の Object Pascal で。

４．システムに Visual C++ランタイムライブラリがない場合は？

５．Python Engine の初期化の問題？他

６．まとめ

７．お願いとお断り

重要　MS_Reader.exe と Python39-32 フォルダは同じ階層に置いてください。

以上が『ドッキング作業』です！！

これを夢見て、ンか月。マジ、挫けそうな時もあった･･･けど。

プログラムサイズを選ぶか、動作速度を優先するか、
ご使用目的、お使いのPC環境に合わせて選択していただけたら幸いです。

プログラムを書きたかった･･･だけです (^_^)♪

いつか、夢みたとおりの･･･プログラムを。