この記事の要点
- ローカルLLMは、入力したデータを社外のサーバーに送らずにAIを使える点が大きな利点です。
- 使えるモデルはPCやサーバーの性能で決まり、クラウドの大きなモデルと同じ答えの質は期待しにくい場面があります。
- 動かすツールとモデルの両方の利用条件を確かめ、更新と管理の担当を決めてから使い始めます。
ローカルLLMとは
ローカルLLMとは、自社のPCや社内のサーバーの中で動かす大規模言語モデル（LLM）のことです。ChatGPT や Gemini のようにインターネット越しに使うサービスと違い、質問の文章も答えも、手元の機械の中で処理されます。
動かすモデルには、学習の結果（重み）が公開されている「オープンモデル」を使います。たとえば、Google の Gemma、Meta の Llama、Mistral AI のモデル、Alibaba の Qwen などがあり、日本語に力を入れた国内のモデルも公開されています。国内のモデルは日本発のLLMをどう選ぶかで整理しています。
ローカルで動かすメリット
メリットは、データを社外に出さずにAIを使えることです。あわせて、通信のない場所でも使えることと、使い方を自社で決められることも利点になります。
データを社外に出さない
クラウドのAIサービスでは、入力した文章が事業者のサーバーに送られます。法人向けのサービスの多くは入力を学習に使わない設定を用意していますが、社内の規程や取引先との契約で、外部のサーバーに送ること自体が認められていない情報もあります。
ローカルLLMなら、処理は手元の機械の中で完結します。設計書、顧客の情報を含む記録、公表前の企画書など、外に出せない資料を扱う作業にも使いやすくなります。
通信に左右されない
インターネットにつながっていなくても動くため、工場や現場の端末、通信が限られた環境でも使えます。外部のサービスの障害や、提供の条件の変更の影響も受けません。
使い方を自社で決められる
モデルの選び方、答え方の指示、社内の資料の読み込ませ方を、自社の都合で決められます。利用の回数に応じた料金はかからず、費用は機械と電気代、運用の手間が中心になります。
始め方の流れ
始め方は、ツールを入れ、モデルを選び、小さな用途で試す、の3段階です。
- 動かすためのツールを入れる：Ollama や LM Studio のように、モデルのダウンロードから対話までをまとめて扱えるツールがあります。
- モデルを選ぶ：ツールの中で、公開されているモデルを選んでダウンロードします。はじめは小さめのモデルで動作を確かめます。
- 小さな用途で試す：文書の要約や下書きなど、結果を人が確かめやすい作業から始めます。
ツールは更新が早く、機能も変わります。たとえば Ollama には、手元で動かすモデルのほかに、Ollama のサーバーで処理する「クラウドのモデル」もあります。データを外に出さないことが目的なら、選んだモデルが手元で動くものかを確かめてください。
注意したいこと
注意点は、機械の性能、答えの質、運用の手間、ライセンスの4つです。
機械の性能で使えるモデルが決まる
LLMは、動かすときにモデルの大きさに見合ったメモリを使います。GPU（画像処理用の半導体）のメモリや、パソコンのメインメモリが足りないと、大きなモデルは動かないか、答えが返るまでに時間がかかります。
モデル名に付いている「7B」「70B」などの表記は、パラメータ（モデルの中の数値）の数を表します。数が大きいほど多くのメモリが要ります。必要な性能はモデルや設定で変わるため、手持ちの機械で試してから、必要に応じて機械を選ぶ順番が安全です。
答えの質はクラウドの大きなモデルと同じではない
手元で動かせる大きさのモデルは、クラウドで提供される大きなモデルに比べ、複雑な推論や幅広い知識が求められる質問で、答えの質が下がることがあります。用途を絞る、社内の資料を検索して答えさせる仕組み（RAG）と組み合わせる、といった使い方の工夫が要ります。小さなモデルの使いどころは小さな言語モデル（SLM）とはで説明しています。
運用は自社の仕事になる
クラウドのサービスなら事業者が行う更新や監視を、自社で行うことになります。
- モデルとツールの更新、脆弱性の情報の確認
- 誰が、どの端末で、どのデータを扱ってよいかの決まり
- 答えの記録の残し方と、誤りがあったときの扱い
社員が各自のPCで思い思いに動かす形は、管理の外でデータが扱われる原因にもなります。社内で使うなら、置き場所と担当を決めた形にします。
ライセンスを確かめる
オープンモデルは、モデルごとに利用条件（ライセンス）が違います。商用の利用を広く認めるもの、利用の規模や用途に条件を付けるもの、出力の使い方に決まりがあるものなどがあります。ツール自体の利用条件もあわせて確かめます。業務で使う前に、モデルとツールの両方の条件を、法務の担当の方と確認してください。
クラウドとどう使い分けるか
使い分けの目安は、扱うデータの機密の度合いと、求める答えの質です。
| 観点 | ローカルLLM | クラウドのAIサービス |
|---|---|---|
| データの扱い | 手元の機械の中で処理 | 事業者のサーバーで処理 |
| 答えの質 | 機械の性能とモデルの大きさに左右される | 大きなモデルを使える |
| 費用 | 機械・電気代・運用の手間 | 使った量に応じた料金 |
| 運用 | 自社で行う | 事業者が行う |
機密の資料を扱う作業はローカルで、一般的な調べものや文章の作成はクラウドで、と分けて使う形もあります。社内のサーバーに置いて部署で共有する形にすれば、個人のPCで動かすより管理しやすくなります。
当社のご支援
アメリア・テクノロジーは、扱うデータと用途を伺い、ローカルとクラウドのどちらで、どのモデルを使うかの検討からお手伝いします。社内のサーバーへの構築、いまのシステムとのつなぎ込み、運用の決まりづくりまで担います。扱うツールは使うツール・基盤、つなぎ込みと運用はAIインテグレーションをご覧ください。
- ローカルLLM
- オープンモデル
- セキュリティ
この記事に出てくる用語
このコラムは一般的な情報の提供を目的としたもので、個別の状況への助言ではありません。製品・サービスの名前と内容は、記事の更新日の時点のものです。