30万〜50万円のAI専用PCが不要に！手持ちの2台で「ネット不要の自分専用ローカルAI」が完成

3 時間前

読了時間: 3分

30万〜50万円の購入計画が、まさかの展開に

前回の記事で、私は30万〜50万円の予算でローカルAI専用パソコンを購入する計画を書きました。

しかし、その計画は不要になりました。

なんと、手持ちのパソコン2台とLAN接続だけで、自分専用のローカルAIが動いたのです。

その後、ChatGPTと相談しながら手持ちのパソコンを調べ、まずは既存の設備を使って実験することにしました。

使用したのは、普段WixやSecond Lifeなどに使っているRTX 2070搭載パソコンと、Dell OptiPlex 5000です。

Dellには自分のホームページ記事や基本プロフィールなどの記憶データを保存し、RTX 2070搭載PCではOllamaとGemmaを使って回答を生成します。

2台のパソコンをLANで接続し、Dellが過去の記事を検索して、RTX側のAIが回答する仕組みです。

現在は900本以上の記事をもとにした3,045チャンクの検索データを利用し、過去の経営経験、車の修理、モンゴル不動産などについて質問できるようになりました。

もちろん、途中では通信エラーやGPUの処理エラー、AIの回答間違いなどもありました。

そのたびにChatGPTへ画面の写真を送り、一つずつ修正しました。

専門的なプログラミング知識がなくても、ここまで作れたことには、私自身も驚いています。

私がローカルAIに魅力を感じていた理由の一つは、インターネットに依存しないことです。

普段利用しているChatGPTなどのクラウドAIは、インターネットが使えなければ基本的に利用できません。

しかし、今回構築した後藤友亮AIは、記憶データも回答を生成するAIモデルも自宅のパソコンに保存されています。

そのため、地震などの災害でインターネット回線が遮断された場合でも、2台のパソコンとLAN接続が正常に動いていれば利用できます。

さらに、自宅にはEcoFlowの蓄電池があります。

電気工事業者に依頼し、分電盤を通して家全体へ割り当ててEcoFlowのAC出力から給電する仕組みを設けています。

停電時にも電力供給が維持できれば、ローカルAIを動かし続けられる可能性があります。

もちろん、パソコンやLAN設備の故障、電力不足などが発生すれば利用できません。

また、ネットが遮断されている間は、最新の災害情報を取得することもできません。

それでも、自分の経験や蓄積した知識を、外部のインターネットに頼らず利用できることには、大きな価値があると思います。

ローカルAIは、普段の相談相手としてだけでなく、災害時の情報環境を補う道具にもなり得るのではないでしょうか。

今回、30万〜50万円の新しい専用パソコンを購入せずに、ローカルAIの基本的な仕組みを構築できました。

今後は、Dellのメモリを現在の16GBから32GBへ増設することを検討しています。

RTX 2070については当面そのまま利用し、性能不足が明確になった段階で強化する予定です。

また、Dell側の外部記憶1,169ファイルと検索データベース、RTX側のAIモデルについては、それぞれ外付けHDDへバックアップしました。

新しく買う前に、今ある設備で試してみる。そして、本当に不足した部分だけにお金を使う。

今回のローカルAI構築は、その考え方の大切さを改めて実感できる経験になりました。

協同組合かけはし／KAKEHASHI HUMAN MONGOL LLC 　後藤友亮／GOTO YUSUKE

静岡県浜松市／モンゴル・ウランバートル　　　　公式サイト：https://www.kakehasi.biz/