yahoojapan

d1-2B と d1-3B・d1 API の日本語ベンチマークでの比較 Liquid AI が重みを公開している判断専用モデル d1 の系列に、d1-2B が加わりました。Hugging Face のリポジトリの作成は 10 月 24 日、最初のコミットは 10 月 27 日です。10 月 5 日に出た d1-3B と d1-omni-600M の約 3 週間後になります。本作業の大半を Claude Code で実行・文書化したものです。何を測るかの判断と、結果の読み取りは筆者が行いました。 モデルカードの表では、d1-2B は d1-3B より小さいのに、多くの判断ベンチマークで d1-3B を上回っています。この記事では、日本語の 3 つのベンチマークで、d1-2B を以前に測った d1-3B と同じ条件で測り直しました。結果は、3 つすべてで d1-2B が d1-3B を下回りました。差の確かさはベンチによって違います。他のモデルの値と並べた表も載せています。 d1-2B とは d1-2B は、文章を生成するモデルではなく、1 回の計算で確率付きの回答を返す判断モデルです。状態(テキストまたは JSON)と画像・動画、それに複数の質問を渡します。質問の型には、はい/いいえ、選択肢、段階評価、値の抽出、物体の位置があります。モデルカードの記述は次のとおりです。 - パラメータ数は 1.92B で、自社の視覚言語モデル LFM3-VL-2B から後学習したものです。 - 対応言語は日本語を含む 16 言語です。 - ライセンスは LFM Open License v1.0 です。 - 公開日はモデルカードに書かれていません。上の日付は Hugging Face の記録によります。 測ったもの | ベンチ | 内容 | 件数 | 偶然の正解率 | |---|---|---|---| | JNLI | 2 つの文の関係(含意・矛盾・中立)を選ぶ | 500 | 33% | | JCommonsenseQA | 常識を問う 5 択 | 500 | 20% | | ライブドアニュース分類 | 記事のカテゴリを 9 つから選ぶ | 7,367(全件) | 11% | d1-2B の測定は 2026 年 11 月 1 日です。RTX 4080 1 枚で、bfloat16、compile なしで動かしました。1 回の要求に 1 件だけ入れ、並列 2 で、モデルカードのとおり model.system_one(state, questions) で判断させました。取得した版は、リポジトリのコミット 10e7671 です。 比べる d1-3B と d1 API は、新しく測り直していません。d1 API は 10 月 1 日、d1-3B と d1-omni-600M は 10 月 8 日の測定です。同じ項目を同じ順で、同じ形の要求で測っています。選択肢には説明文を付け、d1-3B は説明文つきの辞書だけを受け付けるので、d1-2B にも同じ辞書の形で送りました。 要求の中身は次のとおりです。 { "state": {"sentence1": "男性が犬を散歩させている。", "sentence2": "男性が外にいる。"}, "questions": {"relation": {"type": "choice", "instructions": "文1と文2の関係を選べ。", "criteria": {"entailment": "文2は文1から論理的に導ける(含意する)", "contradiction": "文2は文1と矛盾する", "neutral": "文2は文1から導けるとも矛盾するとも言えない"}}} } d1 の系列での比較 | モデル | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---| | d1 API | 92.0 | 98.6 | 68.8 | | d1-3B | 81.2 | 90.2 | 68.1 | | d1-2B | 75.4 | 86.6 | 64.2 | | d1-omni-600M | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。d1-2B の失敗は 3 つとも 0 件でした。 !d1 の系列の正解率。d1-2B は 3 つのベンチすべてで d1-3B を下回り、d1-omni-600M を大きく上回る d1-2B は d1-3B より、JNLI で 5.8 ポイント、JCommonsenseQA で 3.6 ポイント、ライブドアで 3.9 ポイント低くなりました。同じ項目で、片方だけが正解した件数を数えると、次のようになります。 | ベンチ | d1-3B だけが正解 | d1-2B だけが正解 | 符号検定の p 値 | |---|---|---|---| | JNLI | 73 | 44 | 0.009 | | JCommonsenseQA | 40 | 22 | 0.03 | | ライブドア | 606 | 324 | 1.6e-20 | JNLI とライブドアでは、偶然の揺れとは考えにくい差です。JCommonsenseQA は 500 件で、p 値が 0.03 と境目に近く、差があるとまでは言い切れません。3 つとも向きは同じです。 d1 API との差はもっと大きく、JNLI では API だけが正解した項目が 101 件、d1-2B だけが正解した項目が 18 件でした。JCommonsenseQA は 62 件対 2 件です。d1-omni-600M とは逆に、d1-2B のほうが大きく上回っています。 モデルカードの表との関係 モデルカードは、判断ベンチマークの表で d1-2B を d1-3B と並べています。 | ベンチマーク | d1-2B | d1-3B | |---|---|---| | Decision Index 公開スイート(v0.3) | 51.1 | 49.0 | | JevBench v1.4.1 | 77.9 | 76.2 | | DecisionBench(Hanno Labs)v1 | 77.1 | 73.1 | | Fast Decisions | 58.8 | 59.3 | | Typed Decisions | 61.3 | 65.0 | d1-2B が上回る行が多く、Fast Decisions と Typed Decisions では d1-3B が上です。これらは Liquid AI が載せた自社の数字で、この記事では確かめていません。モデルカードの JevBench が、この記事の 3 つのベンチと同じ内容かどうかも分かりません。モデルカードの表と今回の結果が食い違うように見えても、ベンチの中身が違うので、矛盾とは言えません。この記事の 3 つのベンチ、つまり日本語の文の関係、常識、記事の分類に限れば、d1-3B のほうが正確でした。 他のモデルとの比較 同じ 3 つのベンチで、以前に測ったモデルと並べました。この記事で新しく測ったのは d1-2B だけで、他の行は以前の測定です。 | モデル | 種別 | JNLI | JCommonsenseQA | ライブドア | |---|---|---|---|---| | Gemini 3.8 Flash | API | 86.8 | 99.6 | 91.1 | | Gemini 3.5 Flash | API | 85.6 | 99.0 | 87.9 | | Jev | API | 85.6 | 97.8 | 72.8 | | d1 | API | 92.0 | 98.6 | 68.8 | | Gemini 3.1 Flash-lite | API | 83.4 | 98.2 | 79.2 | | Gemini 3.5 Flash-lite | API | 82.4 | 97.6 | 77.6 | | GPT-5.6 Terra | API | 76.0 | 98.4 | 79.9 | | GPT-5.6 Luna | API | 78.6 | 98.2 | 76.4 | | GPT-6 Luna(Decisions API) | API | 75.6 | 97.8 | 78.4 | | ModernBERT-Ja-310M | 微調整 | 93.0 | 92.0 | 96.5 | | d1-3B | 手元の重み | 81.2 | 90.2 | 68.1 | | d1-2B | 手元の重み | 75.4 | 86.6 | 64.2 | | Jeff Gemma4-E2B | 手元の重み | 73.8 | 88.6 | 64.6 | | Jeff 2B | 手元の重み | 71.2 | 85.2 | 65.8 | | Jeff 0.8B | 手元の重み | 73.0 | 77.2 | 63.8 | | d1-omni-600M | 手元の重み | 32.0 | 46.4 | 49.2 | 数字は正解率(%)です。ModernBERT-Ja-310M は、各ベンチの学習用データで微調整したもので、学習なしで答える他の行とは条件が違います。API の行は、モデルごとに思考の設定などの条件が違います。順位の比較ではなく、位置の目安として読んでください。 !他のモデルとの比較。ベンチごとに正解率の降順に並べ、d1-2B を橙で示す 手元で動かす重みの中で、d1-2B は Jeff Gemma4-E2B と近い水準にあります。JNLI は d1-2B が 1.6 ポイント上、JCommonsenseQA は 2.0 ポイント下、ライブドアは 0.4 ポイント下です。この 3 つの差が確かかどうかは、同じ項目での検定をしていないので言えません。d1 API は JNLI が表の中で最も高く、JCommonsenseQA も上位です。ライブドアは、大きなモデルの値に届いていません。 応答時間 1 件ずつ、同時実行なしで、各 100 件を送って測りました。中央値(ミリ秒)です。 | モデル | JNLI | ライブドア | |---|---|---| | d1 API | 404 | 398 | | d1-3B | 16 | 57 | | d1-2B | 12 | 42 | | d1-omni-600M | 5 | 13 | !1 件あたりの応答時間(中央値と p95、対数軸) 手元の 3 つは通信を挟まず、compile もしていません。d1 API は通信を含む往復時間なので、手元の値とそのまま比べるのは不公平です。d1-2B の応答時間は、どちらのベンチでも d1-3B より約 25% 短くなりましたが、日本語の判断の正確さは下がっています。 気づいた点 - d1-2B は JNLI で、正解が含意の問題 73 件に対して、含意と答えた件数が 126 件で、含意に寄る偏りがあります。d1-omni-600M ほど極端ではありません。 - 10 月 29 日に、リポジトリに「JSON 形式の指示と選択肢の値を受け付ける」変更が入っています。私は選択肢を辞書の形に変換して送りましたが、リストのまま送った場合の結果は測っていません。 限界 - 測ったのは日本語の 3 つのベンチだけです。モデルカードの画像・動画のベンチは、この記事では確かめていません。 - 手元の応答時間は RTX 4080 1 枚での値で、機械が変われば変わります。 - d1 API の値は 10 月 1 日、d1-3B は 10 月 8 日の測定です。d1-2B の測定は 11 月 1 日で、その間に API や重みの中身が変わっている可能性があります。 - 他のモデルの値は以前の測定の流用で、条件はモデルごとに違います。 出典 - LiquidAI/d1-2B(モデルカード). <huggingface.co> - LiquidAI/d1-3B(モデルカード). <huggingface.co> - LiquidAI/d1-omni-600M(モデルカード). <huggingface.co> - Liquid AI, "Open d1: Edge decision models for text, vision, and audio". <liquid.ai> - JNLI・JCommonsenseQA: JGLUE. <yahoojapan/JGLUE> - ライブドアニュースコーパス. <rondhuit.com>