LFM3の使い方と実力:M3 Macで日本語の問い合わせ分類を試したら、思考オフ5/8・オン8/8。商用利用の条件も

パラメーター17億の小さなモデルに、日本語の問い合わせメールを8通分類させました。考える過程(思考)を切ると、1通1秒台で8通中5通が正解。思考を入れると8通すべて正解しましたが、1通に平均18秒かかりました。

10月27日に公開されたLiquid AIのLFM3-1.7Bを、メモリ16GBのM3 Macで動かした結果です。社内の定型作業を手元のPCで回すには十分使える水準で、ただし思考のオン・オフで速さと正確さが大きく入れ替わります。年間売上1,000万ドル以上の会社は、そもそも商用利用のライセンスが別になる点にも注意が要ります。

以下、モデルの特徴、実際に動かした結果、動かし方の選び方、ライセンスの条件を順に見ていきます。

目次

LFM3-1.7Bは、ツール呼び出しに強く知識に弱い小型モデル

Liquid AIの発表によると、LFM3はテキスト・画像・音声などを扱う6つのモデルの総称で、どれも20億パラメーター前後です。そのうちテキスト用のLFM3-1.7Bは、4ビットに量子化すると約1GBに収まり、スマートフォンやノートPCで動かせます。

モデルカードでは、日本語を含む16言語に対応し、文脈長は25万6,000トークンです。AIエージェントの部品として使うことを想定して学習されていて、ツール呼び出しや決まった形式での出力を得意とします。

得意・不得意ははっきりしています。モデルカードの表で、5倍以上大きいQwen3.5-9Bと比べると、業務自動化の評価AutomationBenchは41.29対15.10、ツール呼び出しの評価BFCL V4は71.39対62.83でLFM3が上回ります。一方、専門知識を問うGPQA Diamondは63.37対80.40、長文から情報を探すRULER 128Kは65.56対87.11で負けています。どれもLiquid AI自身の評価です。

知識を尋ねるより、渡した文章から項目を抜き出し、形式をそろえて次の処理に渡す。そういう使い方に向いたモデルだと私は読みました。

M3 Macで動かした結果:思考オフは5/8、オンは8/8

試した条件は次のとおりです。Apple M3・メモリ16GBのMacで、PythonのTransformers 5.21.0とPyTorch 2.14.1を使い、GPU(MPS)で動かしました。重みは量子化していない16ビットのままです。結果を再現できるよう、乱数を使わない設定(貪欲法)で出力させています。

読み込みは6.9秒、GPUが確保したメモリは約4.1GBでした。生成速度はどの作業でも毎秒18〜24トークンです。

中心に試したのは、問い合わせメールを読ませて「分類(配送・請求・アカウント・その他)」「注文番号」「急ぎかどうか」をJSONで返させる作業です。素直な3通と、判断に迷う5通を用意し、3項目すべてが私の付けた正解と一致したものを正解としました。

項目 思考オフ 思考オン
正解数 5/8 8/8
1通の時間 1〜2秒 14〜32秒
出力トークン 24〜29 318〜751
1時間の処理量 約2,600通 約190通

1時間の処理量は、平均時間(オフ1.39秒、オン18.59秒)で3,600秒を割った目安です。

思考オフで外れた3通は、どれも判断に迷うものでした。領収書の依頼では、指定していない「その他の」という語を返しました。認証アプリの再登録の相談は「アカウント」でなく「その他」に分類し、急ぎとは書いていない誤配送の連絡を「急ぎ」と判定しました。思考オンでは、この3通も正しく答えています。

ツール呼び出しも試しました。「本番サイトの決済画面が表示されないので、チケットを切って」と頼むと、どちらの設定でも次の形で、件名と優先度highを正しく返しました。

<tool_call>
<function=create_ticket>
<parameter=title>
本番サイトの決済画面が表示されない
</parameter>
<parameter=priority>
high
</parameter>
</function>
</tool_call>

日本語の文章は少し弱いと感じました。社内通知の要約では、思考オフだと「20日に早め(元々25日)し」のように不自然な言い回しが混ざりました。思考オンでは自然な3行になりましたが、約30秒かかっています。また、「1語で分類して」と指示したときは、依頼文を繰り返したうえで説明を付けて答えました。分類は合っていましたが、形式の指示は守っていません。

8通は小さな試験で、正解の付け方にも私の判断が入っています。4ビット版やOllamaで動かしたときの速さと正確さは測っていません。それでも、思考のオン・オフで傾向がこれだけはっきり分かれたことは、使い方を決める材料になります。

思考オフで大量に回し、迷うものだけオンで確かめる

私が業務で使うなら、思考オフで全件を処理し、出力を検証して怪しいものだけ思考オンでやり直します。「その他の」のような指定外の値は、プログラムで簡単に弾けます。1時間に約2,600通のペースなら、日々の問い合わせの一次仕分けには十分です。

ただし、認証の相談を「その他」に回すような分類の誤りは、形式の検証では見つかりません。顧客への返信や担当の割り振りのように、間違いがそのまま相手に届く処理では、思考オンにするか、人が確認する工程を残すべきです。思考オンでも1時間に約190通は処理できます。

同じLiquid AIのLFM2.5-24B-A2Bのように、もっと大きいモデルを手元で動かす選択肢もあります。メモリに余裕がないPCや、通信を外に出せない現場で、小さく速く動くことに価値がある場面がLFM3の出番だと私は考えています。

動かし方:Ollamaが手軽、MLXはまだ、Transformersは中身を確かめて

手軽なのはOllamaです。Ollamaの公式ライブラリにはlfm3が1.7GBで登録されていて、ollama run lfm3の1行で動くと書かれています。私の環境にはOllamaを入れていないので、この方法は試していません。

Apple Silicon向けのMLX版も公開されていますが、MLX版のモデルカードによると、実行ライブラリmlx-lmのLFM3対応は作業中です。対応の変更は10月27日に提案されたばかりで、10月28日時点では正式版に入っていません。

私が使ったTransformersでは、trust_remote_code=Trueの指定が必要です。モデルのリポジトリにあるPythonコードを、手元でそのまま実行する設定です。私は実行の前にそのコード3ファイルを読み、使っているのがPyTorchとTransformersだけで、外部への通信やコマンドの実行がないことを確かめました。後からリポジトリが書き換わっても影響を受けないよう、取得する版も固定しています。

python3 -m venv venv
./venv/bin/pip install torch transformers accelerate
./venv/bin/hf download LiquidAI/LFM3-1.7B --revision 40ebe0aa6662c9d40389c2f5d565b6a2c6aebacd --local-dir model

ダウンロードは約3.2GBです。思考オフで動かす最小のコードはこうなります。私の環境で実行し、上で書いた「請求」の分類が返ることを確かめました。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

path = "model"  # hf downloadで保存したフォルダ
tok = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, trust_remote_code=True, dtype=torch.bfloat16).to("mps")

messages = [{"role": "user", "content": "次の問い合わせを配送・請求・アカウント・その他のどれか1語で分類してください。\n請求書の宛名を変更して再発行してください。"}]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, enable_thinking=False,
                              return_tensors="pt", return_dict=True).to("mps")
out = model.generate(**ids, do_sample=False, repetition_penalty=1.1, max_new_tokens=256)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))

思考オンにするにはenable_thinking=FalseをTrueに変えます。モデルカードは、思考をオフにした動作は不安定な場合があると注意しています。

年間売上1,000万ドル以上の会社は、商用利用が別契約

LFM3のライセンスはLFM Open License v1.0です。無償で利用・改変・再配布できますが、商用利用には条件があります。利用する法人の年間売上が1,000万米ドル以上なら、その商用利用はこのライセンスでは許諾されません。1ドル150円で換算すると15億円です。

個人や中小企業なら、売上がこの基準を下回る限り、社内の業務に組み込んでも追加の費用はかかりません。大きな会社で使うなら、試す段階からLiquid AIとの契約が必要かどうかを法務と確認しておくべきです。非営利団体の研究目的の利用は、この基準の対象外とされています。

最初の一歩としては、自社の問い合わせから個人情報を除いた10通ほどを用意し、思考オフとオンの両方で正解率と時間を測ってみてください。私の8通では、オフの速さとオンの正確さの差がはっきり出ました。どちらで回すかは、間違いが許される作業かどうかで決まります。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

コメント

コメントする

目次