ここのところAIチャットばっかりしてましたけれども、特に気に入っているのがMicrosoftのコパイロットです。ところが最近コパイロットのiOSアプリをアップグレードしたら、ほんの何往復かのやりとりで1日の上限に達しましたって打ち切られてしまうようになったのです。
それも最後はこちらの質問に答えないで打ち切るんです。これは非常にいやらしくて、もう次の質問で答えが返ってこないかなと思うと質問する意欲がなくなってしまいます。
そこでこれはどうにかしようと考え、自分でAIを動かしてしまえば良いのではないかと思ったわけです。ネット検索するとApple SilliconのMacだと軽く動くって言うんですね。AIに確認してもそうだといいます。
そこで、やってみました。案ずるより産むがやすしってやつです1。Ollamaと言うオープンソースのエンジンをダウンロードして、1番簡単なインストール方法ですけどもマウントしたドライブ内にあるアプリをアプリケーションフォルダーにドラッグ&ドロップするだけです。それで1回アプリケーションを立ち上げると、バックグラウンドで動くデーモンが働き出します。
それに対してターミナルを開いて簡単なコマンドを打ち込むと、選んだモデルで動き出します。この辺はまぁ他のサイトやドキュメントを参照してください。
ターミナルを使って一応日本語を含めてやりとりできるんですがあまり便利ではありません。そこでUIのソフトを使うんですが、ChatBoxと言うAI用のUIアプリがあちこちで推奨されてます。
これもほとんど自力でも動きますが、解らないことがあってもネット検索すればすぐ答えがあります。
それでいともたやすくAIのインストールと起動、クライアントからの接続ができてしまったわけです。
さっそくチャットを始めてみましたけれども初期状態ではものを知らなすぎるなぁと言う印象です。
それからメモリーを大量に食うわけですね。私が選択した1番現在優れているオープンのものとしてqwen2.5:14bと言うモデルを使いますけども、最大メモリーが9 GB占有されます。ですからRAMは24 GBあったほうが楽だと言われています。16 GBのMacBook Air M4でも動かない事は無いようですが、メモリープレッシャーは黄色レベルまで上がります。
大量のメモリーの使用はそのように目に見えますけれども、CPUの占有率がちっとも上がらないんです。これはどうやらGPUやNeural Engine を使っているからのようです。
一方でRAM 32 GBを搭載したIntel Mac mini2と、古いデスクトップ機3 があります。これまで無駄にメモリを積んでる感が強かったのですがそれを活用できないかと言う意味で今回それぞれにOllamaをインストールもしてみたわけです。しかし、チャットの回答中はCPUがフル稼働4 しますが、応答は文字を目で追いかけられるほど遅いです。
それからChatBoxが使えないような環境では、ウェブブラウザに機能拡張として追加できるPage Assistというのがあります。これでも普通のチャットには全く問題はありません。
私はFirefoxを使っていますが、1つのFirefoxにインストールすると同期して他のマシンのFirefoxにも勝手にインストールされるので、その辺は楽です。
時間がなくて図が全然入れられませんでした。続編で図をいろいろ紹介できればと思います。
