Delphi 12.2で利用できるようになったSmart CodeInsightが使えるようになるまでの設定方法です。
ローカルで LLM を実行できる Ollama の環境構築から（見様見真似で）やってみました。
【もくじ】
１．はじめに
２．Ollama のインストール
３．LLM モデルのダウンロード
（１）Gemma 2
（２）Llama-3-ELYZA-JP-8B
４．動作環境の設定
（１）Gemma 2
（２）Llama-3-ELYZA-JP-8B
５．DelphiのIDEのスマート支援機能を設定
６．DelphiのIDEのスマート支援機能を使う
７．まとめ
８．お願いとお断り
１．はじめに
ちなみに LLM は（今回、初めて知った！のですが）、自然言語処理（ Natural Language Processing ：NLP ）のタスク※に使用される大規模言語モデル（ Large Language Model ）の略で、膨大な量のテキストデータを使って訓練された人工知能のモデルを意味するそうです。
※ 自然言語処理のタスク：「コンピュータがヒトの言語を理解し、生成し、処理する上での特定の課題や目的」のこと。すなわち、文章の生成、分類、翻訳、応答、人名・地名・組織名等の特定の名称認識（ Named Entity Recognition：NER ）、音声認識、要約など、実に様々な「タスク」があるようです。
調べてみると実にたくさんの LLM があり、果たしてどのモデルを選べばよいのか（例えば、日本語が得意で、プログラミングに適したモデルはどれなのか？）がわからず、当初、たいへん困りましたが、いくつかの Web サイトの情報を参考に、ここでは「 Gemma 2 」と「 Llama-3-ELYZA-JP-8B 」をダウンロードして使ってみました。
コマンドを叩くだけで簡単にインストールできたのは「 Gemma 2 」、自分で Modelfile を作る必要があり、設定に少し勉強が必要だったのが「 Llama-3-ELYZA-JP-8B 」です。私のノート PC 環境（もちろん、GPU などという結構なモノは、ハナからついておりません！）で、「実用になるか・どうかは別」にして、単に「応答の速さだけを見た」場合、後者の方が体感的には「圧倒的に速かった」です。
【My デバイスの仕様】
プロセッサ 11th Gen Intel(R) Core(TM) i7-1185G7 @ 3.00GHz 3.00 GHz
実装 RAM 32.0 GB (31.7 GB 使用可能)
システムの種類 64 ビット オペレーティング システム、x64 ベース プロセッサ
２．Ollama のインストール
Delphi 12.2 Athens をインストールして、その新機能に関する記事を読んでいたら、「Smart CodeInsight: コーディングにAIのパワーを活用」という見出しがあり、そのリンク先の記事で、オンラインソリューションや、オフラインソリューションを使用して AI LLM をコーディングに活用できることを知りました。これが今回の事始めです。ドキドキ。
あっ！ ちなみに Ollama は「オラマ」と読むようです。ほんとか・どうか、わかりませんが･･･
Windows11 の 23H2 で Copilot に触れてから、生成AIにコーディングを助けてもらうことが断然多くなりました。もし、DelphiのIDE上で生成AIが利用できたら、どれほど快適にプログラムが書けることか、想像するだけでワクワクします。これまでGoogle先生に質問をくり返しながら、四苦八苦していたことが、まるで夢のよう･･･。
そう思いつつ、別の記事を参照して、追加の情報もGet。
上の記事によれば、オンラインソリューションは基本的に全て有料とのこと。で、唯一、オフラインソリューションの Ollama だけが無料で使えるソリューション※でした。
※ ソリューション：「問題解決方法、手段、対応策」
上記リンク先の記事からの引用です。
「アカウントと支払いに関して唯一の例外はOllamaで、Ollama はローカル (または任意のサーバー) にインストールでき、サービス料金を支払うことなくオフラインで使用できます。」
･･･ということなので、迷うことなく Ollama に決めました。で、Ollama は、MacOS 版、Linux 版、Windows 版があるとのことで、Windows のユーザーである私はもちろん Windows 版をチョイス。
上記リンク先から（ Windows 環境であれば Windows 版の ） Ollama をダウンロードしました。
特に意識しなくても、自動でWindows版が選択されていた気が･･･しますが、OS が Windows11 であればダウンロードフォルダに OllamaSetup.exe（version 0.3.14：2024/10/29 現在）が保存（663MB）されます。これをダブルクリックしてインストール。
インストール自体は、ただ待つだけ。何の問題もなく終了。
（設定で、何か変わったところはあるのかなー？）
･･･と思って、いちおう確認すると、環境変数のPathの最後に
C:\Users\ユーザー名\AppData\Local\Programs\Ollama
が追加されてました。変更は、はたして、これだけか？
「ollama」じゃなくて、「Ollama」が正しい表記なのだろうか？
とりあえず、コマンドプロンプトを起動し、次のコマンドを叩きます。
ollama -v【実行結果】
大丈夫。ダウンロード ＆ インストールは無事完了！
３．LLM モデルのダウンロード
Ollama のインストールが終了したら、Ollama を使って実行する LLM のモデルを入手しなければなりません。「 LLM 日本語 無料 おすすめ」等のキーワードで検索してみると、実にたくさんの LLM モデルがあることに気付きます。
（ 百花繚乱･･･）
LLM は、まさに現在進行形で進化中、きっとお互いにしのぎを削っているような状況なのでしょう。
（１）Gemma 2
いくつかの Web サイトを参照して、まず「Gemma（ジェマ）」という LLM を試してみようかと思いました。正直、専門的なことは「チンプンカンプン」で「まったくわからない」私ですが、様々なサイトで「高性能」と評価されていたこと、そして何より、インストールがとても簡単そうだったのがいちばんの理由です。
スタートボタンの隣にある「検索」欄に「cmd」と入力してコマンドプロンプトを起動、んで、次のコマンドを叩くだけで Gemma2 モデルがダウンロードされて、ただちに起動しました。カンタン！
これ作ったひと、すごい！ これ作ったひとみたいに、なりたいなー☆
ollama run gemma2C:\Users\ユーザー名>ollama run gemma2
pulling manifest
pulling ff1d1fc78170... 100% ▕██████████████｜略｜██████████████▏ 5.4 GB
pulling 109037bec39c... 100% ▕██████████████｜略｜██████████████▏ 136 B
pulling 097a36493f71... 100% ▕██████████████｜略｜██████████████▏ 8.4 KB
pulling 2490e7468436... 100% ▕██████████████｜略｜██████████████▏ 65 B
pulling 10aa81da732e... 100% ▕██████████████｜略｜██████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
いくつか質問してみましたが、英語での質問には英語で、日本語での質問には日本語で答えてくれました。さらにいちばん気になる Object Pascal に関する質問にも、よさげな返事を返してくれました。
（２）Llama-3-ELYZA-JP-8B
もうひとつ気になった LLM が「 Llama-3-ELYZA-JP-8B 」です。なぜ、気になったかというと･･･
・「日本語に特化している」という情報が得られたこと。
・「小さい、軽量、ローカルでの実行に適している」という記述が多数のサイトで見られたこと。
・「Code Llama」を含む「Llama3（ラマ3）」がベースになっていること。
これ以外にもたくさんの情報がありましたが、自分的にはこの３つだけでもう十分に魅力的だと感じました。特に、最後の「Code Llama」というプログラム作成を支援してくれる機能が含まれているという解説は「 Delphi を愛して十数年･･･これを試さずには死ねない！」と思うほど、強烈な輝きを放っていました。びゃかー！ってカンジです。あぁ目が眩む。
さて、肝心のダウンロードですが、次のサイトの情報に従って行いました。
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」
https://qiita.com/s3kzk/items/3cebb8d306fb46cabe9f
上記サイトの記事の作成者様に心から感謝申し上げます。
まず、上記サイトの案内にある通り、「 Hugging Face 」から、「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」をダウンロードしました。
他にも、よくわからないファイルがたくさんあったけど、とにかく「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」だけををダウンロード！
ファイルの大きさは 4.58 GBほどありました。
４．動作環境の設定
（１）Gemma 2
設定は必要ありませんでした。上の記事に書いた通り、コマンドプロンプトを起動して、
ollama run gemma2
これだけで Gemma2 が起動、使用できました。
（２）Llama-3-ELYZA-JP-8B
こちらのモデルは、Ollama で標準サポートされているモデルではない（2024年10月現在）ため、使用するには少し事前準備が必要でした。以下、見様見真似で行った準備作業の手順とその内容です。
・Modelfile という「拡張子のない」ファイルをメモ帳などのテキストエディタで作成する。
・ダウンロードした Llama-3-ELYZA-JP-8B-q4_k_m.gguf と Modelfile を任意の場所にコピーする。
・コマンドを実行して Modelfile から Ollama 用のモデルを作成する。
最初に行ったのは、Modelfile の作成です。Llama-3-ELYZA-JP-8B はその名前を見れば、Llama3 モデルの発展型（そう呼んでいいのかな？）であることが明らかですから、モデルの作成に使用するフォーマット※は、Llama3 モデルのそれと同じになるように設定する必要があるとのこと。なので Modelfile はモデルのフォーマット方法を書いたものなんだと理解しました。
※ フォーマット：「モデルがどのようにデータを扱い、出力を生成するか」について、その形式や構造を決めたもので、モデルが入力を理解できるように、また、効率的にデータを処理できるようにするためのルールや方法が定義されている。
【作成した Modelfile 】
作成にあたって、複数のWebサイトにあっ たModelfile の例を調べましたが、Webサイトによって、下の例の最後の行：PARAMETER stop “<|reserved_special_token” 部分が「ない」などの違いがありました。ちなみにこれは、特定のトークン（単語、フレーズ、または文字）に到達した際に出力を停止するようにモデルに指示、つまり特定の条件で出力を停止させることで、予期せぬ長い出力を防ぐために設定するパラメータのようです。
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
次に作成した Modelfile と、ダウンロードした Llama-3-ELYZA-JP-8B-q4_k_m.gguf の保存先ですが、どこにしまったらいいのか、さっぱりわかりません。いろいろ調べてみると、この２つのファイルの保存場所は「任意のフォルダ」としているサイトが数多く見受けられました。これより、この２つのファイルは同じフォルダ内に置けば、それでいいのではないかと思えてきました。
そこで「任意のフォルダ」に保存することに決めたのですが、その場所が次の大きな問題です。出来れば、あとから思い出せるように、「どこに保存したか？」絶対忘れない場所がいいです。
で、思いついたのが Ollama のインストール先フォルダのルートに置けばいいのではないか？ ということです。調べて見ると Ollama のインストール先は次の場所でした。
C:\Users\ユーザー名\.ollamaさらに、「モデルがどこに作成されるのか」を調べたら、次の場所に作成されるようでした。
C:\Users\ユーザー名\.ollama\models以上のことから、作成した Modelfile と、ダウンロードした Llama-3-ELYZA-JP-8B-q4_k_m.gguf の２つのファイルを Ollama のインストール先フォルダのルートに保存し、このフォルダを作業ディレクトリにしてモデル作成のコマンドを叩けば上手く行く（＝ Llama-3-ELYZA-JP-8B のモデルの作成に成功する）のではないかと考え、次のように操作してみました。
まず、作成した Modelfile と、ダウンロードした Llama-3-ELYZA-JP-8B-q4_k_m.gguf の２つのファイルを C:\Users\ユーザー名\.ollama フォルダにコピペする。
次に、コマンドプロンプトを起動して、モデル作成のコマンドを実行して、Modelfile から Ollama のモデルを作成します。モデル作成のコマンドは、次の通りです。
ollama create elyza:jp8b -f Modelfileこの時、コマンドプロンプト起動直後の状態のまま、カレントディレクトリを .ollama に変更せずにモデル作成のコマンドを実行したらエラーが発生してしまいました。
C:\Users\ユーザー名>ollama create elyza:jp8b -f Modelfile
Error: open C:\Users\ユーザー名\Modelfile: The system cannot find the file specified.（ Modelfile が見えません･･･ あっ☆）
そこで次のようにしてカレントディレクトリを .ollama に変更。
C:\Users\ユーザー名>cd .ollamaもう一度、上記のモデル作成のコマンドを実行。
C:\Users\ユーザー名\.ollama>ollama create elyza:jp8b -f Modelfile
transferring model data 100%
using existing layer sha256:91553c45080b11d95be21bb67961c9a5d2ed7556275423efaaad6df54ba9beae
creating new layer sha256:8ab4849b038cf0abc5b1c9b8ee1443dca6b93a045c2272180d985126eb40bf6f
creating new layer sha256:c0aac7c7f00d8a81a8ef397cd78664957fbe0e09f87b08bc7afa8d627a8da87f
creating new layer sha256:bc526ae2132e2fc5e7ab4eef535720ce895c7a47429782231a33f62b0fa4401f
writing manifest
successおしまいに success と表示されたので、上手くいったようです。
モデルを実行するには、次のコマンドを入力すればよいとのこと。
ollama run elyza:jp8bやってみました！
C:\Users\ユーザー名\.ollama>ollama run elyza:jp8b
>>> Send a message (/? for help)Send a message とある部分に、次のように入力してみました。
>>> DelphiでTLabelのAlignmentにtaCenterを指定しても実行すると設定が反映されないことがあります。どうしたらLabelのキャプションを中央揃えにして表示できますか？入力後、Enterキーを叩くと･･･
TLabelのAlignmentにtaCenterを指定した際、設定が反映されない場合があります。この問題は、LabelのParentComponentにContainerControlを使用することで解決します。
以下の手順で解決します:
1. LabelをContainerControl (例えばTPanelやTFrame) のChildにします。
2. ContainerControlのAlignmentプロパティにtaCenterを指定します。
上記の方法で、Labelのキャプションが中央揃えになります。AI の回答の内容の良否は検証の要有りですが、それより、何より･･･
動きましたー☆
５．DelphiのIDEのスマート支援機能を設定
これがいちばんやりたかったことです。
Delphiを起動して、「ツール」→「オプション」の順にクリックします。
オプションのダイアログ（ユーザーに情報を提供したり、ユーザーから入力を受け取るための小さなウィンドウ。ダイアログボックスともいう）が表示されたら、左ペインの「IDE」の中にある「スマート支援機能」をクリックします。
必要であれば、「IDE」→「スマート支援機能」の順にクリックしてください。
次のように設定します。
（１）スマート支援機能の下にある「 Enable AI Engine 」のチェックをONにします。
（２）「エディタのデフォルト AI 」のComboBox は選択肢から Ollama を選択します。
（３）「チャットウインドウのデフォルト AI 」も選択肢から Ollama を選択します。
Web上で見たダイアログではそれが「AIエンジンの有効化」となっていました。
なぜなんでしょう？
続けてプラグインの部分も次のように設定します。
（１）最初に「 Ollama 」タブをクリックして選択します。
（２）有効にチェックします。
（３）BaseURL に「 http://localhost:11434 」と入力します。
（４）LLM のモデルが Llama-3-ELYZA-JP-8B 場合、モデルには「 elyza:jp8b 」と入力してください。
モデルの設定部分については、何と設定すればいいのか？ 当初わからなくて困ったのですが、コマンドプロンプトで Llama-3-ELYZA-JP-8B を実行する時に入力するコマンドが
C:\Users\ユーザー名\.ollama>ollama run elyza:jp8bであることから、モデルの設定は「 elyza:jp8b 」に違いない！と考え、実際その設定で動作しましたので、多分、これで OK なのではないかと･･･思われます。
入力が終わったら「保存」ボタンをクリックして、オプション設定のダイアログを閉じてください。
６．DelphiのIDEのスマート支援機能を使う
さっそく使ってみます。既存のプロジェクトファイルを開くか、新規にアプリケーションを作成して、コードエディタが表示された状態にします。
編集画面の余白部分を右クリックすると、次の図のようにポップアップメニューが表示されるので、そのいちばん上にある「 Smart CodeInsight 」をポイント（or クリック）します。すると、さらにサブメニューが表示されます。
AIチャットをクリックしてみました☆
質問してみました！
少し、待ち時間がありましたが、待ちくたびれるほどではありません。ちゃんと計ったわけではありませんが 30 秒くらいかなー？ AI の返事が表示されました。
質問に「 Object Pascal で書いて！」という内容を追加して再チャレンジ。
ふと思い立って･･･ DelphiのIDEのコードエディタに「VB.NET」のコードを貼り付けて、
コード全体を選択して、コードの変換を試してみます。
かなり待ち時間がありましたが･･･
３分くらいかな？ ちょっと長かったけど、無事、変換できました！
もし、わからないコードがあった時は･･･
すると･･･
感動！
７．まとめ
（１）Ollama をインストールすれば、ローカルな環境でも LLM を利用した生成 AI を使用できる。
（２）LLM は Ollama で標準サポートされているものなら、run するだけで使える。
（３）Ollama で標準サポートされていない LLM でも gguf ファイルから create して使用できる。
（４）Delphi のIDEのスマート支援機能で Ollama を指定すれば、無料でローカル LLM を使える。
（５）GPU がないPCでも（待ち時間はあるが）スマート支援機能は使えそうな気がする。
８．お願いとお断り
このサイトの内容を利用される場合は、自己責任でお願いします。記載した内容（プログラムを含む）利用した結果、利用者および第三者に損害が発生したとしても、このサイトの管理者は一切責任を負えません。予め、ご了承ください。