Muse Glimmerをローカルで使うには?必要メモリとOpenCodeの接続例

当ページのリンクには広告が含まれています。

Muse Glimmerは、Metaが重みを公開した30B(約300億パラメータ)のモデルです。テキストと画像を入力し、テキストで答えます。自分のPCでOpenCodeから使うには、モデルを読み込んで応答するサーバーを手元で起動し、OpenCodeの接続先に指定します。モデルをダウンロードしただけで予定表やファイルが操作できるわけではありません。Metaの技術報告

目次

どのファイルを選ぶか。テキストと画像で違う

Metaは元モデルをApache 2.0で提供しています。llama.cppでローカル実行する場合は、MetaのGGUF配布ページにある変換済みファイルを選びます。11月6日に公開ファイル一覧のサイズを確認し、10億バイトを1 GBとして丸めました。Metaの配布ファイル一覧・モデルカードと利用条件

試したいこと 選ぶファイルと条件
まずテキストで試す Q4_K_M版は16.8 GB。Metaが目安として示す対象はGPUメモリ24 GB。
大きい量子化版で試す Dynamic Q4_K_XL版は19.7 GB。対象の目安はGPUメモリ32 GB。
画像を入力する テキストモデルに加えて、画像を処理するmmprojファイル(1.4 GB)が必要。
生成を高速化する DFlash用ファイル(1.6 GB)は任意。まずは通常の構成で動作を確認する。

ファイルの大きさはディスク上の容量です。実行時には文脈を保持する領域なども使い、同じPCでも入力長と同時処理数で必要なメモリは変わります。GPUメモリとPCの主記憶、Macのユニファイドメモリを同じ条件として扱わないでください。上表は開発元の目安で、当サイトが測定した速度や必要最小容量ではありません。Metaの構成別ガイド

PR|ローカル推論用のPCを選ぶ方へ

FRONTIERで構成を比較するときは、仕様表の「グラフィックス」でGPUの型番と専用メモリ容量を確認してください。たとえば本体メモリが32 GBでも、GPUに32 GB載っているとは限りません。上の表で、使いたい量子化版の目安と照合できます。

【FRONTIER】

OpenCodeを開く前に、ローカルサーバーを確認する

MetaはMuse Glimmer対応のllama.cpp(ビルドb10353以降)を指定しています。次は手元に取得済みのテキストモデルだけを起動する構成例です。実行ファイルにパスが通っていることを確認し、モデルのパスを自分の保存先に置き換えます。画像も使う場合は公式手順の --mmproj を追加します。Metaのllama-server起動手順

llama-server -m /path/to/Muse-Glimmer-30B-KQuant-17GB-Q4_K_M.gguf \
  -a muse-glimmer-30B --host 127.0.0.1 --port 8080 --jinja -c 8192 -np 1

ここでは初回の切り分け用に文脈長8192、同時処理数1を指定しました。起動したら別のターミナルで curl http://127.0.0.1:8080/v1/models を開き、モデル名を確認します。続いて短い質問を送り、本文が返るかを確認してからOpenCodeを設定します。モデル名を返せることと文章を生成できることは別々に試します。

OpenCode V2の接続例

以下はV2向けの設定例です。ローカルサーバーで指定した別名 muse-glimmer-30B とOpenCode側のモデルIDをそろえます。既存設定がある場合は、必要な項目だけを統合してください。V1を利用している場合は、その版のプロバイダー設定に従います。OpenCode V2のプロバイダー設定・V1系のllama.cpp接続例

{
  "$schema": "https://opencode.ai/config.json",
  "model": "local-glimmer/muse-glimmer-30B",
  "providers": {
    "local-glimmer": {
      "name": "Local Glimmer",
      "package": "@opencode/ai/providers/openai-compatible",
      "settings": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "muse-glimmer-30B": {
          "name": "Muse Glimmer 30B"
        }
      }
    }
  }
}

OpenCodeのモデル一覧で local-glimmer/muse-glimmer-30B を選び、まず短い文章の要約を試します。手元で確認したのは、上のJSONがOpenCodeの公式設定仕様に適合するところまでです。モデル本体の起動、OpenCode経由の応答、ツール呼び出しの成功率は今回測定していません。照合した設定仕様

「ローカル」で処理される範囲を確かめる

この例ではモデルへのリクエスト先を同じPCに限定しています。カレンダーやWeb検索を追加したときの通信先は、それぞれのツール設定で決まります。たとえばファイル整理なら、架空のファイル名3件を入力し、「移動候補と理由」だけを返すところから始めると、分類の正しさと実際のファイル操作を別々に評価できます。モデルが提案した操作を実行するかは、接続するアプリ側で決めてください。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

IT業界で10年、ソフトウェア開発をしてきたエンジニアです。今もChatGPT、Codex、Claude Codeを中心に、開発の効率化や生産性向上にAIをフル活用しています。応用情報技術者。登壇や執筆もしています。このサイトでは、仕事でAIを使う立場から、料金や利用条件、使い方を調べてまとめています。

目次