ローカルLLM

ローカルLLMでは、重みを公開したオープンモデルを手元のコンピューターに置き、社内のネットワークの中で動かします。入力した文章が社外に出ないため、機密性の高い文書や個人情報を扱う業務で検討されます。インターネットにつながらない環境でも使えます。

業務では、社内規程や設計書を検索して答えるしくみ、契約書や議事録の要約、現場の端末での文書の分類などに使われます。範囲を絞った用途であれば、小さなモデル（SLM）でも足りる場合があります。社内の文書を参照させるRAGと組み合わせて使うこともあります。

動かすためのGPUなどの機材、モデルの更新、セキュリティの対策を、自社で担う必要があります。クラウドのサービスに比べて、使えるモデルの性能に制約が出ることもあるため、扱う情報の重さと、費用・性能のつり合いで判断します。