社内のデータを外部のAIサービスに送れないなら、自社の環境でLLMを動かすという手があります。この記事では、公式の構築事例を参考に、試作前に決める条件を整理します。当サイトで一日以内の構築を実測した記事ではありません。必要な期間は機材、担当者の経験、認証や文書管理の要件で変わります。
実際に社内でLLMのAPIサーバーを作った例としては、IIJ Engineers Blogの構築事例がわかりやすいです。社外のSaaSにデータを送らずに済むよう、社内ネットワークにOpenAI互換のAPIを立て、vLLMでGemma 2ベースの9Bモデルなどを動かし、検索用の埋め込みモデルにはmultilingual-e5-large-instructを使っています。
モデルを選ぶ
最初の一台なら、数Bから十数Bパラメータの日本語に強いOSSモデルで十分試せます。モデルの大きさだけで、自社の質問への正確さは決まりません。社内の質問に答える、文書を要約する、といった用途なら、まずは小さめのモデルで応答の速さと質のバランスを見て、足りなければ上げていくほうが無駄がありません。
商用で使えるかどうかの条件はモデルごとに違います。候補が決まったら、ライセンスの本文を読んでから使い始めてください。
機材はモデルと利用条件を決めてから選ぶ
特定のGPUとメモリ容量だけで、動作や応答速度を保証することはできません。モデルの版、量子化形式、入力の長さ、同時に使う人数、推論ソフトの対応機材を先に確認します。購入前は候補の構成で非機密の同じ入力を試し、応答時間とメモリ使用量を記録してください。
IIJの事例ではモデルごとに量子化を使い分け、運用上の課題としてVRAM不足や生成の不安定性も挙げています。その構成が、自社の最小構成になるとは限りません。
PR|機材を買う前に手元のPCで試作したい方へ
『ローカルLLM実践入門』は、ノートPCで量子化したモデルを動かす手順と、性能測定を扱います。最初は架空の質問を数件用意し、手元の機材で応答時間とメモリ使用量を記録すると、専用機に必要な条件を絞れます。社内文書の閲覧権限と認証は、モデルの試作が終わった後に別途検証してください。
Amazonのアソシエイトとして、生成AIスタック大全は適格販売により収入を得ています。
![]() |
![]()
社内の文書を読ませる
LLMは社内の事情を知りません。社内規程や議事録に答えさせるには、文書を分割し、埋め込みベクトルにしてベクトルDBに入れ、質問に近い部分を探してモデルに渡す、いわゆるRAGを組みます。
- PDFやWordはLangChainなどで1,000字前後のかたまりに分ける
- 埋め込みには、日本語も扱えるmultilingual-e5のようなモデルを使う
- ベクトルDBはChromaDBなど、Docker Composeで同じマシンに置けるものから始める
答えと一緒に、根拠にした文書の場所を返すようにしておくと、内容を確かめるのも、監査に説明するのも楽になります。
セキュリティと運用のルール
ローカルで推論しても、連携先やログの転送先が外部ならデータが送られる場合があります。入力から回答までの通信先と保存先を確認したうえで、利用できる資料を決めます。
- ログは目的に必要な範囲に絞り、閲覧権限・保存期間・削除方法を決める
- 個人情報を見つけたら伏せ字にする
- LDAPと連携して、部署ごとに見られる文書を分ける
部署ごとのアクセス制御や、情報の重要度に応じた管理の分け方は、ITmediaのプライベートLLM解説記事でも取り上げられています。使い方を社内で共有する勉強会を定期的に開くと、使う人も増えていきます。
試作と社内公開の合格条件を分ける
以下は当サイトの確認案です。実測済みの構築手順や所要時間ではありません。
| 段階 | 試す内容 | 記録する結果 |
|---|---|---|
| 単体の試作 | 非機密の短い質問をローカルのモデルに送る | 使用モデル・ソフトの版、入力、応答、所要時間 |
| 文書検索 | 答えのある質問と、資料に答えがない質問を分けて試す | 引用箇所と回答の一致、根拠がないときの挙動 |
| 利用者の分離 | 閲覧権限が違う利用者で同じ資料を検索する | 権限外の本文や断片が回答に混ざらないか |
| 社内公開前 | 通信先、ログ保存、停止・復旧手順を確認する | 責任者、許可するデータ、復旧試験の結果 |
チャットから使いたい場合も、SlackやNotionなど外部サービスとの連携を追加する前に、どのデータが社外へ送られるかを見直します。単にAPIが応答した段階と、社内の機密文書を扱える段階は分けて判断してください。
2026年11月6日訂正:「一日で動かせる」「自社環境ならデータは社外に出ない」という断定と、当サイトで動作確認していない機材構成の保証を取り除きました。

