yahoojapan

d1-2B と d1-3B・d1 API の日本語ベンチマークでの比較 Liquid AI が重みを公開している判断専用モデル d1 の系列に、d1-2B が加わりました。Hugging Face のリポジトリの作成は 10 月 24 日、最初のコミットは 10 月 27 日です。10 月 5 日に出た d1-3B と d1-omni-600M の約 3 週間後になります。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 モデルカードの表では、d1-2B は d1-3B より小さいのに、多くの判断ベンチマークで d1-3B を上回っています。この記事では、日本語の 3 つのベンチマークで、d1-2B を以前に測った d1-3B と同じ条件で測り直しました。結果は、3 つすべてで d1-2B が d1-3B を下回りました。差の確かさはベンチによって違います。他のモデルの値と並べた表も載せています。 d1-2B とは d1-2B は、文章を生成するモデルではなく、1 回の計算で確率付きの回答を返す判断モデルです。状態(テキストまたは JSON)と画像・動画、それに複数の質問を渡します。質問の型には、はい/いいえ、選択肢、段階評価、値の抽出、物体の位置があります。モデルカードの記述は次のとおりです。 - パラメータ数は 1.92B で、自社の視覚言語モデル LFM3-VL-2B から後学習したものです。 - 対応言語は日本語を含む 16 言語です。 - ライセンスは LFM Open License v1.0 です。 - 公開日はモデルカードに書かれていません。上の日付は Hugging Face の記録によります。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係(含意・矛盾・中立)を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367(全件) | 11% | d1-2B の測定は 2026 年 11 月 1 日です。RTX 4080 1 枚で、bfloat16、compile なしで動かしました。1 回の要求に 1 件だけ入れ、並列 2 で、モデルカードのとおり model.system_one(state, questions) で判断させました。取得した版は、リポジトリのコミット 10e7671 です。 比べる d1-3B と d1 API は、新しく測り直していません。d1 API は 10 月 1 日、d1-3B と d1-omni-600M は 10 月 8 日の測定です。同じ項目を同じ順で、同じ形の要求で測っています。選択肢には説明文を付け、d1-3B は説明文つきの辞書だけを受け付けるので、d1-2B にも同じ辞書の形で送りました。 要求の中身は次のとおりです。 { "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } d1 の系列での比較 | モデル | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---| | d1 API | 92.0 | 98.6 | 68.8 | | d1-3B | 81.2 | 90.2 | 68.1 | | d1-2B | 75.4 | 86.6 | 64.2 | | d1-omni-600M | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。d1-2B の失敗は 3 つとも 0 件でした。 !d1 の系列の正解率。d1-2B は 3 つのベンチすべてで d1-3B を下回り、d1-omni-600M を大きく上回る d1-2B は d1-3B より、JNLI で 5.8 ポイント、JCommonsenseQA で 3.6 ポイント、ライブドアで 3.9 ポイント低くなりました。同じ項目で、片方だけが正解した件数を数えると、次のようになります。 | ベンチ | d1-3B だけが正解 | d1-2B だけが正解 | 符号検定の p 値 | |---|---|---|---| | JNLI | 73 | 44 | 0.009 | | JCommonsenseQA | 40 | 22 | 0.03 | | ライブドア | 606 | 324 | 1.6e-20 | JNLI とライブドアでは、偶然の揺れとは考えにくい差です。JCommonsenseQA は 500 件で、p 値が 0.03 と境目に近く、差があるとまでは言い切れません。3 つとも向きは同じです。 d1 API との差はもっと大きく、JNLI では API だけが正解した項目が 101 件、d1-2B だけが正解した項目が 18 件でした。JCommonsenseQA は 62 件対 2 件です。d1-omni-600M とは逆に、d1-2B のほうが大きく上回っています。 モデルカードの表との関係 モデルカードは、判断ベンチマークの表で d1-2B を d1-3B と並べています。 | ベンチマーク | d1-2B | d1-3B | |---|---|---| | Decision Index 公開スイート(v0.3) | 51.1 | 49.0 | | JevBench v1.4.1 | 77.9 | 76.2 | | DecisionBench(Hanno Labs)v1 | 77.1 | 73.1 | | Fast Decisions | 58.8 | 59.3 | | Typed Decisions | 61.3 | 65.0 | d1-2B が上回る行が多く、Fast Decisions と Typed Decisions では d1-3B が上です。これらは Liquid AI が載せた自社の数字で、この記事では確かめていません。モデルカードの JevBench が、この記事の 3 つのベンチと同じ内容かどうかも分かりません。モデルカードの表と今回の結果が食い違うように見えても、ベンチの中身が違うので、矛盾とは言えません。この記事の 3 つのベンチ、つまり日本語の文の関係、常識、記事の分類に限れば、d1-3B のほうが正確でした。 他のモデルとの比較 同じ 3 つのベンチで、以前に測ったモデルと並べました。この記事で新しく測ったのは d1-2B だけで、他の行は以前の測定です。 | モデル | 種別 | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---|---| | Gemini 3.8 Flash | API | 86.8 | 99.6 | 91.1 | | Gemini 3.5 Flash | API | 85.6 | 99.0 | 87.9 | | Jev | API | 85.6 | 97.8 | 72.8 | | d1 | API | 92.0 | 98.6 | 68.8 | | Gemini 3.1 Flash-lite | API | 83.4 | 98.2 | 79.2 | | Gemini 3.5 Flash-lite | API | 82.4 | 97.6 | 77.6 | | GPT-5.6 Terra | API | 76.0 | 98.4 | 79.9 | | GPT-5.6 Luna | API | 78.6 | 98.2 | 76.4 | | GPT-6 Luna(Decisions API) | API | 75.6 | 97.8 | 78.4 | | ModernBERT-Ja-310M | 微調整 | 93.0 | 92.0 | 96.5 | | d1-3B | 手元の重み | 81.2 | 90.2 | 68.1 | | d1-2B | 手元の重み | 75.4 | 86.6 | 64.2 | | Jeff Gemma4-E2B | 手元の重み | 73.8 | 88.6 | 64.6 | | Jeff 2B | 手元の重み | 71.2 | 85.2 | 65.8 | | Jeff 0.8B | 手元の重み | 73.0 | 77.2 | 63.8 | | d1-omni-600M | 手元の重み | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。ModernBERT-Ja-310M は、各ベンチの学習用データで微調整したもので、学習なしで答える他の行とは条件が違います。API の行は、モデルごとに思考の設定などの条件が違います。順位の比較ではなく、位置の目安として読んでください。 !他のモデルとの比較。ベンチごとに正解率の降順に並べ、d1-2B を橙で示す 手元で動かす重みの中で、d1-2B は Jeff Gemma4-E2B と近い水準にあります。JNLI は d1-2B が 1.6 ポイント上、JCommonsenseQA は 2.0 ポイント下、ライブドアは 0.4 ポイント下です。この 3 つの差が確かかどうかは、同じ項目での検定をしていないので言えません。d1 API は JNLI が表の中で最も高く、JCommonsenseQA も上位です。ライブドアは、大きなモデルの値に届いていません。 応答時間 1 件ずつ、同時実行なしで、各 100 件を送って測りました。中央値(ミリ秒)です。 | モデル | JNLI | ライブドア | |---|---|---| | d1 API | 404 | 398 | | d1-3B | 16 | 57 | | d1-2B | 12 | 42 | | d1-omni-600M | 5 | 13 | !1 件あたりの応答時間(中央値と p95、対数軸) 手元の 3 つは通信を挟まず、compile もしていません。d1 API は通信を含む往復時間なので、手元の値とそのまま比べるのは不公平です。d1-2B の応答時間は、どちらのベンチでも d1-3B より約 25% 短くなりましたが、日本語の判断の正確さは下がっています。 気づいた点 - d1-2B は JNLI で、正解が含意の問題 73 件に対して、含意と答えた件数が 126 件で、含意に寄る偏りがあります。d1-omni-600M ほど極端ではありません。 - 10 月 29 日に、リポジトリに「JSON 形式の指示と選択肢の値を受け付ける」変更が入っています。私は選択肢を辞書の形に変換して送りましたが、リストのまま送った場合の結果は測っていません。 限界 - 測ったのは日本語の 3 つのベンチだけです。モデルカードの画像・動画のベンチは、この記事では確かめていません。 - 手元の応答時間は RTX 4080 1 枚での値で、機械が変われば変わります。 - d1 API の値は 10 月 1 日、d1-3B は 10 月 8 日の測定です。d1-2B の測定は 11 月 1 日で、その間に API や重みの中身が変わっている可能性があります。 - 他のモデルの値は以前の測定の流用で、条件はモデルごとに違います。 出典 - LiquidAI/d1-2B(モデルカード). <huggingface.co> - LiquidAI/d1-3B(モデルカード). <huggingface.co> - LiquidAI/d1-omni-600M(モデルカード). <huggingface.co> - Liquid AI, "Open d1: Edge decision models for text, vision, and audio". <liquid.ai> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>

公開された d1-3B・d1-omni-600M と d1 API の日本語ベンチマークでの比較 Liquid AI が 10 月 5 日に、判断専用モデル d1 の系列から、重みを公開したモデル d1-3B と d1-omni-600M を Hugging Face に出しました。同社のブログの題は「Open d1: Edge decision models for text, vision, and audio」で、手元の機械や組み込み機器で動かす判断モデルとして位置づけています。d1-3B は 3.12B パラメータで、自社の視覚言語モデル LFM2.5-VL-3B から学習したものです。d1-omni-600M は 587M パラメータで、エンコーダの LFM2.5-Encoder-350M を土台に、画像と音声も読めるようにしたもので、モデルカードは開発中の試験版と書いています。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 API の d1 より精度が低いことは、Liquid AI 自身が示しています。モデルカードの図「Decision Index against model size」では、横軸にパラメータ数を取って各モデルを点で打つなか、API の d1 は「d1 (hosted API)」という横線で描かれています。その線は Decision Index 0.2.1 で 60 付近にあり（図からの読み取り）、d1-3B の 48.57 より上です。d1-omni-600M は 15.95 です。API の d1 の大きさは書かれていません。 そこでこの記事では、その差が日本語ではどう出るのかを、以前 API の d1 を測ったのと同じ日本語のベンチマークで確かめました。結果は、3 つのベンチのうち 2 つで d1-3B が API の d1 を 8〜11 ポイント下回り、残る 1 つはほぼ同じでした。d1-omni-600M は、JNLI で偶然と同じ水準にとどまりました。応答時間も並べています。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係（含意・矛盾・中立）を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367（全件） | 11% | 3 つのモデルとも 1 回の要求に 1 件だけ入れ、同じ項目を同じ順で測りました。 - d1 API: Liquid AI の API。測定は 2026 年 10 月 1 日です。 - d1-3B: Hugging Face の LiquidAI/d1-3B（3.1B、BF16）。RTX 4080 1 枚に載せ、モデルカードどおり model.system_one(state, questions) で判断させました。compile はしていません。 - d1-omni-600M: Hugging Face の LiquidAI/d1-omni-600M（587M）。同じ RTX 4080 で、モデルカードが GPU で勧める float16 にしました。 要求の中身は 3 つとも同じで、選択肢には説明文を付けています。 { "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } 補足しておくと、d1 API の数字は今回新しく測ったものではありません。d1-3B が公開される前の 10 月 1 日に、別の記事のために測った結果をそのまま使っています。d1-3B と d1-omni-600M は 10 月 8 日の測定なので、1 週間の開きがあります。 正解率 !3 つのベンチの正解率。d1-3B は JNLI と JCommonsenseQA で d1 API を下回り、d1-omni-600M はさらに大きく下回る d1-3B は d1 API より、JNLI で 10.8 ポイント、JCommonsenseQA で 8.4 ポイント低く、ライブドアでは 0.7 ポイントの差でした。同じ項目で見比べると、JNLI では API だけが正解した項目が 68 件、d1-3B だけが正解した項目が 14 件でした（符号検定で p = 1.1e-9）。JCommonsenseQA は 47 件対 5 件（p = 1.3e-9）です。どちらも偶然の揺れでは説明できない差です。ライブドアは 517 件対 461 件（p = 0.08）で、差があるとは言えません。 d1-omni-600M は、JNLI が 32.0%、JCommonsenseQA が 46.4%、ライブドアが 49.2% でした。JNLI は偶然の 33% と同じ水準で、500 件のうち 383 件を「含意」と答えています（正解が含意なのは 73 件）。ライブドアでも 2,851 件をトピックニュースと答えていて、答えが偏っています。使い方の誤りでないことは、モデルカードの英語の例が正しく答えられること、float16 と float32 で JNLI の先頭 100 件の正解数が同じ（30 件）であることで確かめました。モデルカードは対応言語に日本語を挙げていますが、この 3 つのベンチでは日本語の判断にはほぼ使えませんでした。 応答時間 !1 件あたりの応答時間。d1 API は約 400 ms、d1-3B は 16〜57 ms、d1-omni-600M は 5〜13 ms 1 件ずつ、同時実行なしで各 100 件を送って測りました。手元の 2 つは通信を挟まないので、API と比べて有利です。d1-3B は JNLI で 16 ms、ライブドアで 57 ms で、モデルカードが RTX 4090 で示す compile なしの値（16 ms）と同じでした。d1-omni-600M はその 3 分の 1 ほどで、5 ms と 13 ms です。d1 API は約 400 ms で、混んでいた時間帯の測定では JNLI の中央値が 5.2 秒まで延びました。 限界 - 測ったのは日本語の 3 つのベンチだけです。モデルカードの Decision Index の値は、この記事では確かめていません。 - 手元の 2 つの応答時間は RTX 4080 1 枚での値で、機械が変われば変わります。 - API の d1 は 10 月 1 日に測った結果の流用です。d1-3B の公開に合わせて API の中身が変わっていても、この記事には反映されていません。 出典 - LiquidAI/d1-3B（モデルカード。図「Decision Index against model size」を含む）. <huggingface.co> - LiquidAI/d1-omni-600M（モデルカード）. <huggingface.co> - Liquid AI, "Open d1: Edge decision models for text, vision, and audio". <liquid.ai> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>

Jev, d1, Laya などのベンチマーク一覧 Jev や d1 のような「判断専用」のモデルは、API を呼んで使うものがほとんどです。その中で Laya（Apache-2.0 で公開された、Jev 互換の API サーバーまで付いたエンジン）だけは、重みを手元に置き、完全にローカルで動かせます。ただし Laya の土台は BERT 系のモデルなので、ローカルで動かせる点は BERT と同じで、BERT と同じく、使うには微調整が必要になるのではないかという疑いがあります。そこで、同じ日本語のベンチマークを同じ条件で測り、既存のモデルと横に並べて、どこまで機能するかを調べました。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 結論を先に書くと、微調整をしない Laya の日本語の正解率は、ほかのモデルより大きく下です。ただし、ローカルで動かした応答は 10 ミリ秒台で、API の 1/10 以下でした。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係（含意・矛盾・中立）を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367（全件） | 11% | 並べたモデルは次のとおりです。 - Laya: laya-multilingual（mmBERT-base 322M を土台にした、100 以上の言語向けの版）。微調整はしていません。 - Jev: TypeSafe AI の判断専用モデル（API）。 - d1: Liquid AI の判断モデル（API）。 - Gemini 3.1 Flash-lite、GPT-5.6 Luna: 汎用の言語モデル（API）。思考は切り、温度は 0 にしました。 全モデルで条件をそろえました。1 回の要求に 1 件だけ入れ、同じ項目を同じ順で測っています。要求は次の形で、選択肢には説明文を付けています。 { "model": "laya-multilingual", "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } Laya は、この Jev 互換の形のまま、手元で起動した laya-serve に送れます。 正解率 !3 つのベンチの正解率。Laya は偶然よりは上だが、ほかのモデルより大きく下 | モデル | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---| | Laya（微調整なし） | 67.6% | 54.2% | 50.3% | | Jev | 85.6% | 97.8% | 72.8% | | d1 | 92.0% | 98.6% | 68.8% | | Gemini 3.1 Flash-lite | 83.4% | 98.2% | 79.2% | | GPT-5.6 Luna | 78.6% | 98.2% | 76.4% | 3 つとも偶然よりは上ですが、ほかのモデルとの差は大きく、とくに JCommonsenseQA は、ほかが 98% 前後のところで Laya は 54% でした。同じ項目で Jev と見比べると、JNLI は Jev だけが正解した項目が 145 件、Laya だけが正解した項目が 55 件でした（符号検定で p = 1.5e-10）。JCommonsenseQA は 218 件対 0 件、ライブドアは 2,008 件対 351 件です。 ライブドアの内訳 !ライブドア。左は Laya が答えたカテゴリの割合、右はカテゴリごとの正解率 映画（98%）とスポーツ（94%）は Jev と並びます。一方で、独女通信は 10%、livedoor HOMME は 20% まで落ちます。左の図のとおり、Laya は IT ライフハックと映画に答えを寄せる癖があり、IT ライフハックを選んだ回答は全体の約 30% に上ります。実際の割合は約 12% です。 入力を長くして（最大長を 512 から 8192 に）測り直すと、全体は 50.3% から 52.8% に上がりました。S-MAX は 60% から 77% に上がりましたが、独女通信は 9% のままでした。 応答時間 | モデル | JNLI（中央値） | ライブドア（中央値） | 実行場所 | |---|---|---|---| | Laya | 12 ms | 17 ms | 手元のサーバー | | Jev | 200 ms | 197 ms | API | | Gemini 3.1 Flash-lite | 925 ms | 1,098 ms | API | | GPT-5.6 Luna | 843 ms | 869 ms | API | | d1 | 5,207 ms | 2,896 ms | API | 各 100 件ずつ、同時実行なしで測りました。Laya は通信を挟まない分だけ有利で、この数字は動かす機械の性能にも左右されます。d1 は時間帯によって、同じ項目の応答が 0.4 秒から 5 秒まで変わりました。 同じ入力を 200 回送ると、Laya は 200 回とも同じ答えを返しました。質問を 12 個足しても、答えは 200 回とも変わりませんでした。 まとめ 微調整なしの Laya を日本語にそのまま使うのは、勧められません。Laya の README 自身も、ゼロショットの判断エンジンではなく、微調整のための速い土台だと書いています。API を使わずに手元で済ませたい用途では、自分のデータで微調整してから使う前提になり、この点は BERT を微調整して使う場合と変わりません。ただし、BERT との精度比較は今回測っていないので、微調整した Laya が普通の BERT の微調整より良いかどうかは、この調査では分かりません。一方で、応答が速く、同じ入力に同じ答えを返し、Apache-2.0 で使えることは、API のモデルにはない利点です。 限界 - Laya は微調整せずに測りました。微調整後の精度はこの記事の範囲外です。 - 応答時間は 100 件の中央値で、機械・時間帯・回線で変わります。 出典 - Laya のリポジトリ. <NandhaKishorM/laya> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>