yahoojapan

d1-2B と d1-3B・d1 API の日本語ベンチマークでの比較 Liquid AI が重みを公開している判断専用モデル d1 の系列に、d1-2B が加わりました。Hugging Face のリポジトリの作成は 10 月 24 日、最初のコミットは 10 月 27 日です。10 月 5 日に出た d1-3B と d1-omni-600M の約 3 週間後になります。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 モデルカードの表では、d1-2B は d1-3B より小さいのに、多くの判断ベンチマークで d1-3B を上回っています。この記事では、日本語の 3 つのベンチマークで、d1-2B を以前に測った d1-3B と同じ条件で測り直しました。結果は、3 つすべてで d1-2B が d1-3B を下回りました。差の確かさはベンチによって違います。他のモデルの値と並べた表も載せています。 d1-2B とは d1-2B は、文章を生成するモデルではなく、1 回の計算で確率付きの回答を返す判断モデルです。状態(テキストまたは JSON)と画像・動画、それに複数の質問を渡します。質問の型には、はい/いいえ、選択肢、段階評価、値の抽出、物体の位置があります。モデルカードの記述は次のとおりです。 - パラメータ数は 1.92B で、自社の視覚言語モデル LFM3-VL-2B から後学習したものです。 - 対応言語は日本語を含む 16 言語です。 - ライセンスは LFM Open License v1.0 です。 - 公開日はモデルカードに書かれていません。上の日付は Hugging Face の記録によります。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係(含意・矛盾・中立)を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367(全件) | 11% | d1-2B の測定は 2026 年 11 月 1 日です。RTX 4080 1 枚で、bfloat16、compile なしで動かしました。1 回の要求に 1 件だけ入れ、並列 2 で、モデルカードのとおり model.system_one(state, questions) で判断させました。取得した版は、リポジトリのコミット 10e7671 です。 比べる d1-3B と d1 API は、新しく測り直していません。d1 API は 10 月 1 日、d1-3B と d1-omni-600M は 10 月 8 日の測定です。同じ項目を同じ順で、同じ形の要求で測っています。選択肢には説明文を付け、d1-3B は説明文つきの辞書だけを受け付けるので、d1-2B にも同じ辞書の形で送りました。 要求の中身は次のとおりです。 { "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } d1 の系列での比較 | モデル | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---| | d1 API | 92.0 | 98.6 | 68.8 | | d1-3B | 81.2 | 90.2 | 68.1 | | d1-2B | 75.4 | 86.6 | 64.2 | | d1-omni-600M | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。d1-2B の失敗は 3 つとも 0 件でした。 !d1 の系列の正解率。d1-2B は 3 つのベンチすべてで d1-3B を下回り、d1-omni-600M を大きく上回る d1-2B は d1-3B より、JNLI で 5.8 ポイント、JCommonsenseQA で 3.6 ポイント、ライブドアで 3.9 ポイント低くなりました。同じ項目で、片方だけが正解した件数を数えると、次のようになります。 | ベンチ | d1-3B だけが正解 | d1-2B だけが正解 | 符号検定の p 値 | |---|---|---|---| | JNLI | 73 | 44 | 0.009 | | JCommonsenseQA | 40 | 22 | 0.03 | | ライブドア | 606 | 324 | 1.6e-20 | JNLI とライブドアでは、偶然の揺れとは考えにくい差です。JCommonsenseQA は 500 件で、p 値が 0.03 と境目に近く、差があるとまでは言い切れません。3 つとも向きは同じです。 d1 API との差はもっと大きく、JNLI では API だけが正解した項目が 101 件、d1-2B だけが正解した項目が 18 件でした。JCommonsenseQA は 62 件対 2 件です。d1-omni-600M とは逆に、d1-2B のほうが大きく上回っています。 モデルカードの表との関係 モデルカードは、判断ベンチマークの表で d1-2B を d1-3B と並べています。 | ベンチマーク | d1-2B | d1-3B | |---|---|---| | Decision Index 公開スイート(v0.3) | 51.1 | 49.0 | | JevBench v1.4.1 | 77.9 | 76.2 | | DecisionBench(Hanno Labs)v1 | 77.1 | 73.1 | | Fast Decisions | 58.8 | 59.3 | | Typed Decisions | 61.3 | 65.0 | d1-2B が上回る行が多く、Fast Decisions と Typed Decisions では d1-3B が上です。これらは Liquid AI が載せた自社の数字で、この記事では確かめていません。モデルカードの JevBench が、この記事の 3 つのベンチと同じ内容かどうかも分かりません。モデルカードの表と今回の結果が食い違うように見えても、ベンチの中身が違うので、矛盾とは言えません。この記事の 3 つのベンチ、つまり日本語の文の関係、常識、記事の分類に限れば、d1-3B のほうが正確でした。 他のモデルとの比較 同じ 3 つのベンチで、以前に測ったモデルと並べました。この記事で新しく測ったのは d1-2B だけで、他の行は以前の測定です。 | モデル | 種別 | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---|---| | Gemini 3.8 Flash | API | 86.8 | 99.6 | 91.1 | | Gemini 3.5 Flash | API | 85.6 | 99.0 | 87.9 | | Jev | API | 85.6 | 97.8 | 72.8 | | d1 | API | 92.0 | 98.6 | 68.8 | | Gemini 3.1 Flash-lite | API | 83.4 | 98.2 | 79.2 | | Gemini 3.5 Flash-lite | API | 82.4 | 97.6 | 77.6 | | GPT-5.6 Terra | API | 76.0 | 98.4 | 79.9 | | GPT-5.6 Luna | API | 78.6 | 98.2 | 76.4 | | GPT-6 Luna(Decisions API) | API | 75.6 | 97.8 | 78.4 | | ModernBERT-Ja-310M | 微調整 | 93.0 | 92.0 | 96.5 | | d1-3B | 手元の重み | 81.2 | 90.2 | 68.1 | | d1-2B | 手元の重み | 75.4 | 86.6 | 64.2 | | Jeff Gemma4-E2B | 手元の重み | 73.8 | 88.6 | 64.6 | | Jeff 2B | 手元の重み | 71.2 | 85.2 | 65.8 | | Jeff 0.8B | 手元の重み | 73.0 | 77.2 | 63.8 | | d1-omni-600M | 手元の重み | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。ModernBERT-Ja-310M は、各ベンチの学習用データで微調整したもので、学習なしで答える他の行とは条件が違います。API の行は、モデルごとに思考の設定などの条件が違います。順位の比較ではなく、位置の目安として読んでください。 !他のモデルとの比較。ベンチごとに正解率の降順に並べ、d1-2B を橙で示す 手元で動かす重みの中で、d1-2B は Jeff Gemma4-E2B と近い水準にあります。JNLI は d1-2B が 1.6 ポイント上、JCommonsenseQA は 2.0 ポイント下、ライブドアは 0.4 ポイント下です。この 3 つの差が確かかどうかは、同じ項目での検定をしていないので言えません。d1 API は JNLI が表の中で最も高く、JCommonsenseQA も上位です。ライブドアは、大きなモデルの値に届いていません。 応答時間 1 件ずつ、同時実行なしで、各 100 件を送って測りました。中央値(ミリ秒)です。 | モデル | JNLI | ライブドア | |---|---|---| | d1 API | 404 | 398 | | d1-3B | 16 | 57 | | d1-2B | 12 | 42 | | d1-omni-600M | 5 | 13 | !1 件あたりの応答時間(中央値と p95、対数軸) 手元の 3 つは通信を挟まず、compile もしていません。d1 API は通信を含む往復時間なので、手元の値とそのまま比べるのは不公平です。d1-2B の応答時間は、どちらのベンチでも d1-3B より約 25% 短くなりましたが、日本語の判断の正確さは下がっています。 気づいた点 - d1-2B は JNLI で、正解が含意の問題 73 件に対して、含意と答えた件数が 126 件で、含意に寄る偏りがあります。d1-omni-600M ほど極端ではありません。 - 10 月 29 日に、リポジトリに「JSON 形式の指示と選択肢の値を受け付ける」変更が入っています。私は選択肢を辞書の形に変換して送りましたが、リストのまま送った場合の結果は測っていません。 限界 - 測ったのは日本語の 3 つのベンチだけです。モデルカードの画像・動画のベンチは、この記事では確かめていません。 - 手元の応答時間は RTX 4080 1 枚での値で、機械が変われば変わります。 - d1 API の値は 10 月 1 日、d1-3B は 10 月 8 日の測定です。d1-2B の測定は 11 月 1 日で、その間に API や重みの中身が変わっている可能性があります。 - 他のモデルの値は以前の測定の流用で、条件はモデルごとに違います。 出典 - LiquidAI/d1-2B(モデルカード). <huggingface.co> - LiquidAI/d1-3B(モデルカード). <huggingface.co> - LiquidAI/d1-omni-600M(モデルカード). <huggingface.co> - Liquid AI, "Open d1: Edge decision models for text, vision, and audio". <liquid.ai> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>

公開された d1-3B・d1-omni-600M と d1 API の日本語ベンチマークでの比較 Liquid AI が 10 月 5 日に、判断専用モデル d1 の系列から、重みを公開したモデル d1-3B と d1-omni-600M を Hugging Face に出しました。同社のブログの題は「Open d1: Edge decision models for text, vision, and audio」で、手元の機械や組み込み機器で動かす判断モデルとして位置づけています。d1-3B は 3.12B パラメータで、自社の視覚言語モデル LFM2.5-VL-3B から学習したものです。d1-omni-600M は 587M パラメータで、エンコーダの LFM2.5-Encoder-350M を土台に、画像と音声も読めるようにしたもので、モデルカードは開発中の試験版と書いています。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 API の d1 より精度が低いことは、Liquid AI 自身が示しています。モデルカードの図「Decision Index against model size」では、横軸にパラメータ数を取って各モデルを点で打つなか、API の d1 は「d1 (hosted API)」という横線で描かれています。その線は Decision Index 0.2.1 で 60 付近にあり（図からの読み取り）、d1-3B の 48.57 より上です。d1-omni-600M は 15.95 です。API の d1 の大きさは書かれていません。 そこでこの記事では、その差が日本語ではどう出るのかを、以前 API の d1 を測ったのと同じ日本語のベンチマークで確かめました。結果は、3 つのベンチのうち 2 つで d1-3B が API の d1 を 8〜11 ポイント下回り、残る 1 つはほぼ同じでした。d1-omni-600M は、JNLI で偶然と同じ水準にとどまりました。応答時間も並べています。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係（含意・矛盾・中立）を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367（全件） | 11% | 3 つのモデルとも 1 回の要求に 1 件だけ入れ、同じ項目を同じ順で測りました。 - d1 API: Liquid AI の API。測定は 2026 年 10 月 1 日です。 - d1-3B: Hugging Face の LiquidAI/d1-3B（3.1B、BF16）。RTX 4080 1 枚に載せ、モデルカードどおり model.system_one(state, questions) で判断させました。compile はしていません。 - d1-omni-600M: Hugging Face の LiquidAI/d1-omni-600M（587M）。同じ RTX 4080 で、モデルカードが GPU で勧める float16 にしました。 要求の中身は 3 つとも同じで、選択肢には説明文を付けています。 { "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } 補足しておくと、d1 API の数字は今回新しく測ったものではありません。d1-3B が公開される前の 10 月 1 日に、別の記事のために測った結果をそのまま使っています。d1-3B と d1-omni-600M は 10 月 8 日の測定なので、1 週間の開きがあります。 正解率 !3 つのベンチの正解率。d1-3B は JNLI と JCommonsenseQA で d1 API を下回り、d1-omni-600M はさらに大きく下回る d1-3B は d1 API より、JNLI で 10.8 ポイント、JCommonsenseQA で 8.4 ポイント低く、ライブドアでは 0.7 ポイントの差でした。同じ項目で見比べると、JNLI では API だけが正解した項目が 68 件、d1-3B だけが正解した項目が 14 件でした（符号検定で p = 1.1e-9）。JCommonsenseQA は 47 件対 5 件（p = 1.3e-9）です。どちらも偶然の揺れでは説明できない差です。ライブドアは 517 件対 461 件（p = 0.08）で、差があるとは言えません。 d1-omni-600M は、JNLI が 32.0%、JCommonsenseQA が 46.4%、ライブドアが 49.2% でした。JNLI は偶然の 33% と同じ水準で、500 件のうち 383 件を「含意」と答えています（正解が含意なのは 73 件）。ライブドアでも 2,851 件をトピックニュースと答えていて、答えが偏っています。使い方の誤りでないことは、モデルカードの英語の例が正しく答えられること、float16 と float32 で JNLI の先頭 100 件の正解数が同じ（30 件）であることで確かめました。モデルカードは対応言語に日本語を挙げていますが、この 3 つのベンチでは日本語の判断にはほぼ使えませんでした。 応答時間 !1 件あたりの応答時間。d1 API は約 400 ms、d1-3B は 16〜57 ms、d1-omni-600M は 5〜13 ms 1 件ずつ、同時実行なしで各 100 件を送って測りました。手元の 2 つは通信を挟まないので、API と比べて有利です。d1-3B は JNLI で 16 ms、ライブドアで 57 ms で、モデルカードが RTX 4090 で示す compile なしの値（16 ms）と同じでした。d1-omni-600M はその 3 分の 1 ほどで、5 ms と 13 ms です。d1 API は約 400 ms で、混んでいた時間帯の測定では JNLI の中央値が 5.2 秒まで延びました。 限界 - 測ったのは日本語の 3 つのベンチだけです。モデルカードの Decision Index の値は、この記事では確かめていません。 - 手元の 2 つの応答時間は RTX 4080 1 枚での値で、機械が変われば変わります。 - API の d1 は 10 月 1 日に測った結果の流用です。d1-3B の公開に合わせて API の中身が変わっていても、この記事には反映されていません。 出典 - LiquidAI/d1-3B（モデルカード。図「Decision Index against model size」を含む）. <huggingface.co> - LiquidAI/d1-omni-600M（モデルカード）. <huggingface.co> - Liquid AI, "Open d1: Edge decision models for text, vision, and audio". <liquid.ai> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>