パラメーター17億の小さなモデルに、日本語の問い合わせメールを8通分類させました。考える過程(思考)を切ると、1通1秒台で8通中5通が正解。思考を入れると8通すべて正解しましたが、1通に平均18秒かかりました。
10月27日に公開されたLiquid AIのLFM3-1.7Bを、メモリ16GBのM3 Macで動かした結果です。社内の定型作業を手元のPCで回すには十分使える水準で、ただし思考のオン・オフで速さと正確さが大きく入れ替わります。年間売上1,000万ドル以上の会社は、そもそも商用利用のライセンスが別になる点にも注意が要ります。
以下、モデルの特徴、実際に動かした結果、動かし方の選び方、ライセンスの条件を順に見ていきます。
LFM3-1.7Bは、ツール呼び出しに強く知識に弱い小型モデル
Liquid AIの発表によると、LFM3はテキスト・画像・音声などを扱う6つのモデルの総称で、どれも20億パラメーター前後です。そのうちテキスト用のLFM3-1.7Bは、4ビットに量子化すると約1GBに収まり、スマートフォンやノートPCで動かせます。
モデルカードでは、日本語を含む16言語に対応し、文脈長は25万6,000トークンです。AIエージェントの部品として使うことを想定して学習されていて、ツール呼び出しや決まった形式での出力を得意とします。
得意・不得意ははっきりしています。モデルカードの表で、5倍以上大きいQwen3.5-9Bと比べると、業務自動化の評価AutomationBenchは41.29対15.10、ツール呼び出しの評価BFCL V4は71.39対62.83でLFM3が上回ります。一方、専門知識を問うGPQA Diamondは63.37対80.40、長文から情報を探すRULER 128Kは65.56対87.11で負けています。どれもLiquid AI自身の評価です。
知識を尋ねるより、渡した文章から項目を抜き出し、形式をそろえて次の処理に渡す。そういう使い方に向いたモデルだと私は読みました。
M3 Macで動かした結果:思考オフは5/8、オンは8/8
試した条件は次のとおりです。Apple M3・メモリ16GBのMacで、PythonのTransformers 5.21.0とPyTorch 2.14.1を使い、GPU(MPS)で動かしました。重みは量子化していない16ビットのままです。結果を再現できるよう、乱数を使わない設定(貪欲法)で出力させています。
読み込みは6.9秒、GPUが確保したメモリは約4.1GBでした。生成速度はどの作業でも毎秒18〜24トークンです。
中心に試したのは、問い合わせメールを読ませて「分類(配送・請求・アカウント・その他)」「注文番号」「急ぎかどうか」をJSONで返させる作業です。素直な3通と、判断に迷う5通を用意し、3項目すべてが私の付けた正解と一致したものを正解としました。
| 項目 | 思考オフ | 思考オン |
|---|---|---|
| 正解数 | 5/8 | 8/8 |
| 1通の時間 | 1〜2秒 | 14〜32秒 |
| 出力トークン | 24〜29 | 318〜751 |
| 1時間の処理量 | 約2,600通 | 約190通 |
1時間の処理量は、平均時間(オフ1.39秒、オン18.59秒)で3,600秒を割った目安です。
思考オフで外れた3通は、どれも判断に迷うものでした。領収書の依頼では、指定していない「その他の」という語を返しました。認証アプリの再登録の相談は「アカウント」でなく「その他」に分類し、急ぎとは書いていない誤配送の連絡を「急ぎ」と判定しました。思考オンでは、この3通も正しく答えています。
ツール呼び出しも試しました。「本番サイトの決済画面が表示されないので、チケットを切って」と頼むと、どちらの設定でも次の形で、件名と優先度highを正しく返しました。
<tool_call>
<function=create_ticket>
<parameter=title>
本番サイトの決済画面が表示されない
</parameter>
<parameter=priority>
high
</parameter>
</function>
</tool_call>
日本語の文章は少し弱いと感じました。社内通知の要約では、思考オフだと「20日に早め(元々25日)し」のように不自然な言い回しが混ざりました。思考オンでは自然な3行になりましたが、約30秒かかっています。また、「1語で分類して」と指示したときは、依頼文を繰り返したうえで説明を付けて答えました。分類は合っていましたが、形式の指示は守っていません。
8通は小さな試験で、正解の付け方にも私の判断が入っています。4ビット版やOllamaで動かしたときの速さと正確さは測っていません。それでも、思考のオン・オフで傾向がこれだけはっきり分かれたことは、使い方を決める材料になります。
思考オフで大量に回し、迷うものだけオンで確かめる
私が業務で使うなら、思考オフで全件を処理し、出力を検証して怪しいものだけ思考オンでやり直します。「その他の」のような指定外の値は、プログラムで簡単に弾けます。1時間に約2,600通のペースなら、日々の問い合わせの一次仕分けには十分です。
ただし、認証の相談を「その他」に回すような分類の誤りは、形式の検証では見つかりません。顧客への返信や担当の割り振りのように、間違いがそのまま相手に届く処理では、思考オンにするか、人が確認する工程を残すべきです。思考オンでも1時間に約190通は処理できます。
同じLiquid AIのLFM2.5-24B-A2Bのように、もっと大きいモデルを手元で動かす選択肢もあります。メモリに余裕がないPCや、通信を外に出せない現場で、小さく速く動くことに価値がある場面がLFM3の出番だと私は考えています。
動かし方:Ollamaが手軽、MLXはまだ、Transformersは中身を確かめて
手軽なのはOllamaです。Ollamaの公式ライブラリにはlfm3が1.7GBで登録されていて、ollama run lfm3の1行で動くと書かれています。私の環境にはOllamaを入れていないので、この方法は試していません。
Apple Silicon向けのMLX版も公開されていますが、MLX版のモデルカードによると、実行ライブラリmlx-lmのLFM3対応は作業中です。対応の変更は10月27日に提案されたばかりで、10月28日時点では正式版に入っていません。
私が使ったTransformersでは、trust_remote_code=Trueの指定が必要です。モデルのリポジトリにあるPythonコードを、手元でそのまま実行する設定です。私は実行の前にそのコード3ファイルを読み、使っているのがPyTorchとTransformersだけで、外部への通信やコマンドの実行がないことを確かめました。後からリポジトリが書き換わっても影響を受けないよう、取得する版も固定しています。
python3 -m venv venv
./venv/bin/pip install torch transformers accelerate
./venv/bin/hf download LiquidAI/LFM3-1.7B --revision 40ebe0aa6662c9d40389c2f5d565b6a2c6aebacd --local-dir model
ダウンロードは約3.2GBです。思考オフで動かす最小のコードはこうなります。私の環境で実行し、上で書いた「請求」の分類が返ることを確かめました。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
path = "model" # hf downloadで保存したフォルダ
tok = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, trust_remote_code=True, dtype=torch.bfloat16).to("mps")
messages = [{"role": "user", "content": "次の問い合わせを配送・請求・アカウント・その他のどれか1語で分類してください。\n請求書の宛名を変更して再発行してください。"}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
return_tensors="pt", return_dict=True).to("mps")
out = model.generate(**ids, do_sample=False, repetition_penalty=1.1, max_new_tokens=256)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))
思考オンにするにはenable_thinking=FalseをTrueに変えます。モデルカードは、思考をオフにした動作は不安定な場合があると注意しています。
年間売上1,000万ドル以上の会社は、商用利用が別契約
LFM3のライセンスはLFM Open License v1.0です。無償で利用・改変・再配布できますが、商用利用には条件があります。利用する法人の年間売上が1,000万米ドル以上なら、その商用利用はこのライセンスでは許諾されません。1ドル150円で換算すると15億円です。
個人や中小企業なら、売上がこの基準を下回る限り、社内の業務に組み込んでも追加の費用はかかりません。大きな会社で使うなら、試す段階からLiquid AIとの契約が必要かどうかを法務と確認しておくべきです。非営利団体の研究目的の利用は、この基準の対象外とされています。
最初の一歩としては、自社の問い合わせから個人情報を除いた10通ほどを用意し、思考オフとオンの両方で正解率と時間を測ってみてください。私の8通では、オフの速さとオンの正確さの差がはっきり出ました。どちらで回すかは、間違いが許される作業かどうかで決まります。

コメント