生成AIを業務で使いたいけれど、社内の文書を外部のサービスに送るのは不安。そんなときに候補になるのが「ローカルLLM」です。この記事では、ローカルLLMの基本と、会社で使うときに何が必要になるかを、専門知識がない方にもわかるように整理します。
ローカルLLMとは
LLM（大規模言語モデル）は、ChatGPTなどの生成AIの中核にある「文章を理解して作るAIモデル」のことです。
ローカルLLMとは、このモデルを外部のクラウドサービスではなく、自分のPCや社内のサーバーの上で動かす使い方を指します。質問も回答も手元の機器の中で処理されるため、入力した文章がインターネット上のAIサービスに送られません。
近年は、一般的な業務PCや小型のAIサーバーでも動かせる、性能の高い公開モデルが増えています。そのため「まずは自社で試してみる」というハードルが大きく下がりました。
クラウドAIとの違い
| 観点 | クラウドAI（ChatGPTなど） | ローカルLLM |
|---|---|---|
| 処理する場所 | 提供会社のサーバー | 自社のPC・サーバー |
| 入力データの行き先 | 外部サービスへ送信 | 社内で完結させられる |
| 性能 | 最新・最大規模のモデルを使える | 手元の機器で動く規模のモデル |
| 費用 | 利用量やアカウント数に応じた継続課金が中心 | 機器と構築の初期費用、保守費用 |
| インターネット | 必須 | 切り離した環境でも構成できる |
どちらが優れているかではなく、扱う情報の機密性と、求める性能で使い分けるのが基本です。一般的な調べものや文章の下書きはクラウドAI、社外に出せない文書を扱う業務はローカルLLM、という併用（ハイブリッド）もよく選ばれます。
ローカルLLMとオンプレミスAIの違い
よく似た言葉に「オンプレミスAI」があります。
- ローカルLLM：モデルを手元の機器で動かす、という「技術・使い方」の言葉
- オンプレミスAI：AIを自社の設備や社内ネットワークの中に置いて運用する、という「導入形態」の言葉
つまり、オンプレミスAIの中心にあるのがローカルLLMです。ただし会社で本格的に使うには、モデルを動かすだけでは足りません。
- 誰が使えるのかを決めるログイン（認証）
- 社内の文書を検索して回答に使う仕組み（RAG）
- 部署や役職によって見せてよい文書を分ける権限管理
- 止まったときに復旧できるバックアップと運用
- 社員が使いこなすための研修
ここまで含めて整えたものが、業務で使える「オンプレミスAI」です。
ローカルLLMでできること・苦手なこと
得意なこと
- 社内規程や手順書を読ませたうえでの質問応答
- 議事録や報告書の要約、文章の下書き・言い換え
- 翻訳、表現のチェック
- 社内文書を横断した「どこに何が書いてあるか」の検索
苦手なこと・注意点
- 最新の世界的なニュースなど、モデルが知らない情報には答えられません（社内文書を読ませる仕組みで補います）
- 機器の性能によって、回答の速さや同時に使える人数が変わります
- どんなAIでも誤った回答をすることがあります。根拠となった原本を確認できる仕組みと、使う側のルールが欠かせません
社内で使うときに必要な機器の考え方
「どのくらいのPC・サーバーが必要か」は、次の3つでほぼ決まります。
- 同時に使う人数：登録人数ではなく、同じ瞬間に質問する人が何人いるか
- モデルの大きさ：大きいモデルほど賢い傾向がありますが、多くのメモリを必要とします
- 回答の長さと速さの目標：短い回答で十分か、長い文書の生成が多いか
1人で試すだけなら高性能なPC1台から始められます。部署や全社で使う場合は、GPUや大容量メモリを備えたAIサーバーを用意し、実際の使い方に近い条件で負荷試験をしてから本番に移すのが安全です。
参考までに、coiaiが国内企業に導入した事例では、50名規模の日常利用を想定した小型AIサーバーで、最大24人の同時送信を実機で試験しました。8人同時では全員の回答表示が待ち時間なく始まることを確認しています（特定の機器・標準モデル・回答長120トークン固定・社内LAN内という条件での当社試験結果です）。
まとめ
- ローカルLLMは、生成AIのモデルを自社のPCやサーバーで動かす使い方
- 入力した情報を外部のAIサービスに送らずに済むのが最大の利点
- 会社で使うには、認証・社内文書検索・権限管理・運用・研修まで含めた「オンプレミスAI」として設計する
- 必要な機器は、同時利用人数・モデルの大きさ・回答の速さで決まる
coiaiでは、業務の整理から機器選定、権限付きの社内文書検索、検証、研修、保守まで一貫してオンプレミスAIを導入しています。構成や料金はオンプレミスAI構築サービスのページで公開しています。
