LLM-jp-4を試すときは、モデルの規模だけでなく、配布名と用途を一致させることが最初の確認です。2026年4月公開の8Bと32B-A3Bでは、規模と構造が違います。また、事前学習済みのbaseと、対話向けに事後学習されたthinkingを区別する必要があります。
2026年10月31日時点では公式リリース一覧に4.1系も載っています。この記事は4系の2モデルを理解するための解説です。新規導入では4.1系も比較対象にしてください。GPUでの推論速度・回答性能は本記事では実測していません。
8Bと32B-A3Bの主な違い
NIIの2026年4月3日発表では、8Bは約86億パラメータ、32B-A3Bは総数約320億・稼働部分約38億パラメータのMoEモデルです。MoEでは入力に応じて一部を使いますが、「稼働部分が約38億だから、保存・読み込みも38億分でよい」とは限りません。
| 確認項目 | 8B | 32B-A3B |
|---|---|---|
| 構造 | Dense | MoE |
| 総パラメータ概数 | 86億 | 320億 |
| 対話用途の配布名 | llm-jp/llm-jp-4-8b-thinking | llm-jp/llm-jp-4-32b-a3b-thinking |
モデルの取得先は8Bの公式モデルカードと32B-A3Bの公式モデルカードです。ライブラリの読み込み例は、選んだモデルのカードと公式の利用例を基準にしてください。省略された名前だけを指定すると、意図した配布物を取得できない場合があります。
必要メモリを見積もるときの計算
次はパラメータの概数に保存ビット数を掛けた、重みだけの理論値です。実行時の必要メモリや推奨GPU容量ではありません。GBは10億バイトで計算しています。
| 重みの保存条件 | 86億パラメータ | 320億パラメータ |
|---|---|---|
| 16ビット=2バイト | 約17.2GB | 約64GB |
| 4ビット=0.5バイト | 約4.3GB | 約16GB |
計算は「パラメータ数×ビット数÷8」です。4ビットの行は、量子化して圧縮した場合の計算上の値です。実際には量子化用の追加情報、実行ライブラリの作業領域、会話を保持するKVキャッシュなども必要です。長い入力や同時実行数を増やせば、それに応じた確認が必要になります。
したがって「4.3GBだからメモリ8GBなら快適」とは判断できません。取得する形式、CPUへの退避、入力長、生成量を決め、短い入力からメモリ使用量と待ち時間を測ってください。
ベンチマークより先に、自分の仕事の正解を作る
NIIの発表は特定の評価条件で既存モデルを上回ったことを示しています。すべての仕事で上回るという意味ではありません。モデルカードにも出力の安全性などに関する限界が示されています。利用判断には自分の業務に近い質問と、人が確認できる正解を用意します。
以下は当サイトが作成した架空の会議室規程です。機密情報を送らずに、数値の読み取りと「書かれていないこと」の扱いを確認するために使えます。
会議室Aの定員は6人、Bは12人。Aは当日予約可。Bは前営業日までに予約する。休日の利用条件は記載されていない。
| 質問 | 人が用意する正解 | 見つけたい誤り |
|---|---|---|
| 7人で当日使うならAを予約できる? | Aは定員超過。Bも通常の予約期限を過ぎている | 定員か期限の片方だけを見る |
| Bは休日も使える? | 資料に条件がなく判断できない | 休日の例外を作る |
| AとBの違いを2項目で比較して | 定員と予約期限を取り違えず整理する | 数値や条件の入れ替わり |
回答結果をこの表に並べ、正解・一部誤り・根拠なしに分けます。モデル名、配布リビジョン、量子化形式、生成設定、入力と出力を残すと、後日同じ条件で比較できます。少数の質問で優劣を断定せず、実務の頻出質問や例外を追加します。
導入候補を絞る手順
- 機密性と処理場所の条件を決め、ローカル実行が必要か整理する。
- baseとthinkingを区別し、公式配布名とライセンスを確認する。
- 重みの理論値に余裕を持たせ、実環境のメモリと速度を測る。
- 同じ資料・質問で回答を比較し、誤りを直す時間も記録する。
- 現行の4.1系と比べ、既存環境を維持する理由があるか判断する。
