MiniMax M3.1 Flashの料金と使い方:幻覚率93%の本当の意味と、Claude Codeで任せてよい作業

「幻覚率93%」。MiniMaxが10月19日に出したM3.1 Flashについて、第三者の評価機関が付けたこの数字は、見出しだけ読むと「10回に9回うそをつくモデル」に見えます。ですが、この93%は全質問に対する誤答の割合ではありません。

計算し直すと、事実を問う質問の約41%に間違った答えを返し、「分からない」と答えたのはわずか3%ほどです。私の結論は、テストや実行結果で正誤を確かめられるコードの作業なら試す価値があり、調べものや顧客への説明には使わない、です。料金は入力100万トークン0.15ドルと安いものの、出力が多くなりやすい点を入れて試算すると、安さの幅は少し縮みます。

なお、私はこのモデルのAPIをまだ実行していません。数値は公式発表と第三者の測定値、試算は仮定に基づく計算です。

目次

幻覚率93%の正体は「間違えるとき、ほぼ黙らない」

数字の出どころは、Artificial Analysisが運営する知識の評価AA-Omniscienceです。6,000問の事実問題を解かせ、幻覚率を「正解しなかった回答のうち、誤答だった割合」と定義しています。分母に正解は入りません。

VentureBeatの報道によると、M3.1 Flashの正答率は56%、幻覚率は93%でした。ここから全質問に対する割合を出すと、次のようになります。

  • 正解:56%
  • 誤答:(100% − 56%) × 0.93 ≒ 40.9%
  • 部分的な回答・回答の辞退:(100% − 56%) × 0.07 ≒ 3.1%

正答率56%は低くありません。The Decoderの記事では、比較対象のDeepSeek V4.1 Flash 1017は43%でした。問題は、知らないことを知らないと言わない点です。間違えた回答のほとんどが、それらしい答えとして返ってきます。

業務で困るのはここです。誤答と正答が同じ自信で並ぶので、出力を読んだだけでは区別できません。社内の調べものや、顧客に送る文面の下書きでは、全文を人が裏取りすることになり、安く速く済ませたいという目的と合いません。

「毎秒200トークン」と「毎秒105トークン」、どちらを前提にするか

速度にも発表と測定のずれがあります。MiniMaxの発表では、日常の利用で毎秒200トークン超、中央値で170トークン超とされています。一方、Artificial Analysisのモデルページの測定値は毎秒104.7トークンで、同じ価格帯の中央値116.6を下回りました。

同じページでは、評価全体で出力したトークンが1億8,000万と、同じ価格帯のモデルの中央値9,900万の約1.8倍でした。評価では「とても冗長」と書かれています。Hacker Newsの発表スレッドでも、データ分析のテストで上位モデル並みの正答数だったが、トークン消費が多く、試したモデルの中で最も遅かったという報告がありました。

知能の総合指標(Intelligence Index)は報道時点で42、私が閲覧したときのページでは43で、前モデルM3の29から大きく伸びています。性能が上がったのは確かです。ただ、エージェントに長い作業を任せると、思考と出力の量がそのまま待ち時間と料金になります。

料金はDeepSeekと同じ。差が出るのはキャッシュと時間帯

MiniMaxの従量課金の料金表では、100万トークン当たり入力0.15ドル、出力0.60ドル、キャッシュに当たった入力は0.015ドルです。時間帯による割増はありません。

入力と出力の単価は、当サイトで10月17日に取り上げたDeepSeek V4.1-Flash-1017のオフピーク料金とまったく同じです。違うのは2点で、DeepSeekはキャッシュ入力が0.003ドルとMiniMaxの5分の1、その代わり日本時間の10時〜13時と15時〜19時はすべての単価が2倍になります。

前回と同じ仮定で、Claude Codeの作業1回分を比べます。入力200万トークンのうち9割がキャッシュに当たり、出力が10万トークンとします。単価は100万トークン当たりなので、トークン数を100万で割ってから掛けます。

MiniMax:1.8 × 0.015 + 0.2 × 0.15 + 0.1 × 0.60 = 0.117ドル
DeepSeek(オフピーク):1.8 × 0.003 + 0.2 × 0.15 + 0.1 × 0.60 = 0.0954ドル
DeepSeek(ピーク):0.0954 × 2 = 0.1908ドル

前述の冗長さを試算に入れるため、出力が1.8倍の18万トークンになった場合も計算しました。DeepSeek側も同じ倍率にしています。両モデルの出力量を同じ作業で比べたデータはないため、この倍率は感度を見るための仮定です。キャッシュがまったく効かない場合(出力10万)も載せています。

米ドル/回 MiniMax DeepSeek オフピーク DeepSeek ピーク
出力10万 0.117 0.0954 0.1908
出力18万 0.165 0.1434 0.2868
キャッシュなし 0.36 0.36 0.72

DeepSeekのピーク時間帯に使うなら、MiniMaxのほうが安くなります。それ以外の時間帯なら、キャッシュが効く分だけDeepSeekが少し有利です。どちらも1回0.1〜0.3ドルの話なので、個人の作業では差よりも出力の質で選んでかまいません。

1日20回、月22日使うと、出力10万なら0.117 × 440 = 51.48ドル、出力18万なら72.6ドルです。税と為替は含めていません。出力が膨らむと月額は約4割増えるので、費用を見積もるときは料金表の単価より、自分の作業で実際に何トークン出たかを先に測るべきです。

Claude Codeでは専用ターミナルで切り替える

MiniMaxはAnthropic互換のAPIを用意しており、Claude Code向けの公式手順では、接続先とキー、モデル名を差し替えて使います。手順書は月額の定額プランM Planのサブスクリプションキーを前提にしています。従量課金のキーで同じ設定が使えるかは手順書に書かれておらず、私は確認できていません。

手順書の例は~/.claude/settings.jsonに書く方法ですが、ここに書くとふだんのClaudeまで切り替わります。試すあいだは、同じ値をそのターミナルだけの環境変数にしておくほうが安全です。

export ANTHROPIC_BASE_URL="https://api.minimax.io/anthropic"
export ANTHROPIC_AUTH_TOKEN="ここにMiniMaxのキー"
export ANTHROPIC_MODEL="MiniMax-M3.1-Flash[1m]"
export ANTHROPIC_DEFAULT_OPUS_MODEL="MiniMax-M3.1-Flash[1m]"
export ANTHROPIC_DEFAULT_SONNET_MODEL="MiniMax-M3.1-Flash[1m]"
export ANTHROPIC_DEFAULT_HAIKU_MODEL="MiniMax-M3.1-Flash[1m]"
export CLAUDE_CODE_AUTO_COMPACT_WINDOW="524288"
claude

起動したら/statusで接続先がapi.minimax.ioになっていること、/modelでモデル名を確かめます。Opus・Sonnet・Haikuの既定モデルまで指定するのは公式の設定例と同じです。Claude Codeは処理によってこれらの既定モデルを使い分けるので、すべてMiniMaxのモデル名にそろえておきます。

シェルの設定ファイルに別のANTHROPIC_から始まる値を書いている場合は、先に消すよう手順書で指示されています。以前のプレビュー名MiniMax-M3.1-Flash-Previewは廃止され、M Planの説明によると旧名で送ったリクエストは正式版で処理されます。

切り替えると使えなくなる機能

手順書には、M3.1 Flashは思考を常に有効にしており、オフにできないとあります。短い質問でも思考の分のトークンが出力に加わるため、出力が多い傾向に拍車がかかります。

Claude Code側にも制約があります。Claude Codeの環境変数の説明によると、ANTHROPIC_BASE_URLをAnthropic以外のホストに向けると、MCPツールを必要なときだけ読み込む仕組み(MCP tool search)が既定でオフになります。MCPサーバーを多くつないでいると、全ツールの定義が最初から文脈に入り、そのぶん入力トークンが増えます。v2.1.196以降はRemote Controlも使えません。

文脈の長さは100万トークンとされていますが、手順書の設定では約52万トークンで自動圧縮が走ります。長い作業を任せても、全部を覚えたまま進むわけではありません。

任せてよいのは、間違いが機械的に見つかる作業だけ

幻覚率の話に戻ると、このモデルを安全に使える条件ははっきりしています。出力が正しいかどうかを、人が読む前にテストや実行結果が判定してくれる作業です。

  • テストがそろったコードのリファクタリングや型エラーの修正
  • 既存の関数に合わせた単体テストの追加。落ちれば分かる
  • ログやCSVの整形スクリプトのように、実行して結果を目で確かめられる処理
  • 公開しても困らないOSSや個人プロジェクトでの試作

逆に、次の用途には向きません。

  • ライブラリの仕様、料金、法令など、事実を調べて説明させる作業
  • テストのない古いコードの改修。間違いが静かに残る
  • 顧客への回答文や社外向け資料の下書き

Hacker Newsでは、プレビュー版を1週間試した人が「最初に大量のエラーを出し、あとから直していく」傾向を報告していました。テストが失敗を拾ってくれる環境なら、この癖は「直るまで回る」安いループとして使えます。テストがなければ、直す前のエラーがそのまま残ります。

Claude Codeが読んだファイルは、MiniMaxのAPIに送られる

接続先を差し替えると、Claude Codeが文脈に読み込んだファイルやコマンドの出力はすべてMiniMaxのAPIへ送られます。Anthropicとの契約や設定は、そこには及びません。

MiniMaxのAPIプライバシーポリシーでは、データの管理者はシンガポールのNanonoble Pte. Ltd.で、個人データは米国のデータセンターに保存されると書かれています。学習については「個人を推定したり、消費者のプロファイリングやターゲティングのために個人データを学習に使ったりしない」という書き方で、入力をモデルの学習に一切使わないという約束ではありません。

顧客情報や社外秘のコードを含むリポジトリでは、この条件で問題ないかを契約や社内規程と照らしてから使ってください。MiniMaxの発表文は重みの公開を「後日」としていますが、PC Watchなどは10月23日の予定と報じています。自社のサーバーで動かせるようになれば送信先の問題は消えますが、ライセンスと必要なGPUは公開まで分かりません。

キーを環境変数に入れて使うので、漏れたときに止める手順も先に決めておくと安心です。APIキー流出時の失効手順と支出上限の考え方はMiniMaxにもそのまま当てはまります。

今日やるなら、テストのある小さなリポジトリで修正を3件だけ

私なら、テストが通っている個人のリポジトリを1つ選び、上の環境変数を設定したターミナルで、いつもClaudeに頼んでいる修正を同じ指示で3件ほど頼みます。見るのは、テストが通るまでの往復回数、かかった時間、MiniMaxのコンソールに出る消費量の3つです。

その数字が出れば、上の表の「出力10万」と「18万」のどちらが自分の現実に近いかが分かり、月額の見積もりも料金表ではなく自分の作業で立てられます。性能を判断するのは、重みが公開され、第三者の測定が増える来週以降でも遅くありません。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次