semantic-router

D3-edgeでLLMを自動選択してみた：vLLM Semantic RouterをAWSで検証 背景 LLMをサービスで利用する際、すべての質問に大きなモデルを使う必要があるのか？ という疑問がある。 例えば、「Pythonとは何ですか？」という質問には比較的小さなモデルでも対応できそうだ。一方、「KubernetesのマルチAZ構成を設計し、障害復旧とコストのトレードオフを説明して」といった質問では、複数の条件を整理する必要があり、より大きなモデルを使いたい。 大きなモデルを常に使う構成は単純だが、推論リソースを必要以上に消費する可能性がある。そこで、質問の内容を見て適切なモデルへ振り分ける「LLMルーティング」を試した。 使用したのは、vLLM Semantic Router と、モデル選択に使える D3-edge だ。Semantic Routerがリクエストを受け、D3-edgeが「4Bと8Bのどちらで回答するべきか」を判断する。 以前は質問の複雑さをルールで判定する Complexity方式 も試したが、12問中1問を期待と異なるモデルへ振り分けた。今回は、ルールによる複雑さ判定から、D3-edgeによるモデル選択へ切り替えて検証した。 このブログの目的 確認したかったことは、次の4点だ。 自動選択： 簡単な質問を4B、複雑な質問を8Bへ振り分けられるか。 実際の動作： D3-edgeがGPU上で判断し、Semantic Routerが選択先へリクエストを転送できるか。 性能への影響： 4B固定・8B固定と比べ、応答時間やGPU使用率はどう変わるか。 回答品質： 小さいモデルを使い分けても、回答に必要な内容が含まれるか。 今回は単一GPU上での小規模なPoCであり、商用環境の負荷試験やAWS料金の削減実証ではない。 このブログの結論 D3-edgeによるモデル振り分けは、用意した12問×3回の計36件すべてで期待どおりに動作した。 また、同じEC2インスタンス上で比較したところ、8B固定よりD3-edge方式の平均応答時間が約4.3%短かった。 主な結果 実測値 D3-edgeの振り分け一致率 100%（36/36件） 8B固定の平均応答時間 11.69秒 D3-edge方式の平均応答時間 11.19秒（約4.3%短縮） 出力上限による打ち切り 0件（全3方式・108件） 簡易キーワード条件の合格率 8B固定・D3-edgeともに91.7% ただし、4Bより8Bの方が必ず正確、あるいはD3-edgeでGPUコストを削減できた、とまでは言えない。回答品質は簡易評価であり、GPU上には3モデルを常駐させているためだ。この点も含めて、以下で検証方法と根拠を整理する。 その結論を得た方法 1. AWS上に3モデルを配置 検証には、AWS EC2のg6e.2xlarge（8 vCPU、64GiB RAM、NVIDIA L40S GPU×1）を利用した。4Bと8BはそれぞれvLLMでAPIとして起動し、D3-edgeはSemantic Router側から利用する構成だ。 ここで重要なのは、D3-edgeは回答文を生成しないことだ。役割は、質問と候補モデルの説明を入力として、どちらのモデルに回答させるかを選ぶこと。実際の文章生成はQwen3 4B-AWQまたは8B-AWQが担当する。 コンポーネント 役割 vLLM Semantic Router リクエスト受付、モデル選択処理の呼び出し、転送 D3-edge 質問の内容から4B・8Bの候補を評価 Qwen3 4B-AWQ 簡単な質問を担当する小型の生成モデル Qwen3 8B-AWQ 複雑な質問を担当する大型の生成モデル 2. Semantic Routerの設定 モデル選択にはdecisionアルゴリズムを使用した。設定の重要部分を抜粋する。 config.yaml の routing.decisions 内を抜粋 - name: d3-select-model priority: 100 rules: operator: AND conditions: [] # すべてのリクエストを選択対象にする modelRefs: - model: qwen3-8b # D3-edgeが失敗した場合の先頭候補 use_reasoning: false - model: qwen3-4b use_reasoning: false algorithm: type: decision decision: deployment: d3-edge instructions: >- Choose the small model for simple requests and the larger model for complex reasoning or system design. candidates: qwen3-4b: Simple factual questions and short explanations. qwen3-8b: Multi-step reasoning, comparisons and system design. timeout_ms: 3000 conditions: []で全質問をこのルールへ通し、その先をD3-edgeが選ぶ。候補の説明文によって「どんな質問をどちらに任せたいか」を伝えている。実際の構成では、別途global.model_catalogにvllm-sr/d3-edgeを登録し、device: cuda:0で起動した。 なお、この例ではD3-edgeに問題が生じた場合に備え、先頭のqwen3-8bをフォールバック候補としている。 3. 比較条件をそろえてベンチマーク 質問を「簡単な6問」と「複雑な6問」に分け、次の3方式で比較した。 4B固定： すべての質問を直接4Bへ送る。 8B固定： すべての質問を直接8Bへ送る。 D3-edge方式： Semantic Routerに送信し、選ばれたモデルで回答する。 例えば簡単な質問は「Pythonとは？」「HTTP 404とは？」「CSVとは？」、複雑な質問は「RAG基盤の高可用性設計」「KubernetesのマルチAZ設計」「Prefill/DecodeとKV Cacheのトレードオフ」などだ。 各方式で12問を3回ずつ実行し、計108リクエストを測定した。比較条件は以下のとおり。 条件 設定 評価件数 12問 × 3方式 × 3回 = 108件 温度 temperature: 0.0 Thinking 無効化 出力上限 各質問・各方式で共通の1,024トークン 実行方法 ストリーミング、逐次実行（同時リクエストなし） GPU監視 0.2秒間隔で取得 最初の測定では、出力上限512トークンのため36件中24件が打ち切りになっていた。そこで事前に必要な出力長を確認し、上限を1,024トークンにそろえた。再測定では全108件がfinish_reason=stopとなり、上限による打ち切りは解消された。 根拠内容 1. D3-edge自身が4B・8Bを選択している まず、D3-edgeの/v1/systemone APIを直接呼び、モデル選択結果を確認した。 質問 選択モデル 選択したモデルの確率 「Pythonとは何ですか？」 4B 98.25% 「Kubernetesの高可用性設計を比較して」 8B 95.53% 「選択したモデルの確率」は、そのモデルが正答する確率ではなく、D3-edgeが候補を支持する度合いだ。 複雑な質問の応答にはaccelerator: cuda、device: cuda:0、dtype: bfloat16が含まれており、GPU上での実行も確認できた。このときのD3-edgeの計算時間は28.47msだった（1リクエストの値）。 さらに、Semantic Routerの実際のAPI応答ヘッダーでも、以下を確認した。 X-Vsr-Selected-Algorithm: decision X-Vsr-Selected-Decision: d3-select-model X-Vsr-Selected-Model: qwen3-8b X-Vsr-Routing-Latency-Ms: 29.157 これにより、D3-edgeの選択機能だけでなく、Router経由で8Bへ転送するところまで動作確認できた。 2. 3方式の比較結果 最終的な108件の測定結果がこちら。 指標 4B固定 8B固定 D3-edge方式 平均E2E（応答完了まで） 6.75秒 11.69秒 11.19秒 平均TTFT（最初のトークンまで） 66.9ms 66.9ms 67.7ms 平均TPOT（生成1トークン当たり） 30.07ms 30.15ms 30.10ms 平均出力トークン数 220.7 383.3 366.9 キーワード条件の合格率 83.3% 91.7% 91.7% 平均GPU使用率 19.5% 28.9% 24.4% 出力打ち切り 0/36 0/36 0/36 E2Eはリクエストから回答完了までの時間、TTFTは最初のトークンが届くまでの時間、TPOTはその後の1トークン生成にかかる時間を指す。 D3-edge方式は8B固定より平均約0.50秒短かった。一方、4B固定の方が平均応答は速い。これはルーティングが常に最速のモデルを選ぶ仕組みではないためだ。今回は「簡単なら4B、複雑なら8B」という方針で選んでいる。 3. どこで時間が短縮されたのか 質問の種類別に見ると、違いがわかりやすい。 質問の種類 4B固定 8B固定 D3-edge方式 簡単な質問（6問） 3.65秒 4.64秒 3.66秒 複雑な質問（6問） 9.85秒 18.73秒 18.72秒 D3-edge方式は簡単な質問では4Bと、複雑な質問では8Bとほぼ同じ時間になっている。つまり、必要に応じて生成モデルを切り替えた結果だ。 また、3方式のTPOTは約30msで大差がなかった。8B固定よりD3-edge方式の平均出力トークン数が少なかったこと（383.3 → 366.9）も、E2E短縮の一因と考えられる。 ただし、「簡単な質問なら4Bが必ず速い」というわけでもない。HTTP 404の説明では、4Bが長めの回答を生成したため、8Bの方が短時間で終了した。モデルサイズだけでなく、生成する文章の長さも速度に影響することがわかった。 4. 評価時に注意したい2つの点 ① 「品質91.7%」は回答正解率ではない 今回の品質指標は、回答に必要なキーワードが含まれるかを調べた簡易判定だ。同じ意味でも別の言い方をすると不合格になることがある。実際の正確性、設計の妥当性、説明の十分さを比較するには、人手または独立した評価モデルによる採点が必要だ。 ② Routerの約0.63msは、キャッシュの影響が考えられる 最終ベンチマークで記録されたRouter内部の平均ルーティング時間は約0.63msだった。一方、前述のD3-edge単体のGPU計算時間は約28.47ms。今回のように同じ質問を繰り返す場合、モデル選択結果がキャッシュされていた可能性が高い。 そのため、未見の質問でも毎回0.63msで判断できるとは言えない。実際のルーティングコストを評価するには、キャッシュを無効化した測定も必要になる。 5. GPU使用率は下がったが、AWS料金削減とは別 平均GPU使用率は、8B固定の28.9%からD3-edge方式の24.4%に低下した。また、概算GPUエネルギーも8B固定より約6.3%小さかった。 ただし、今回の構成では4B・8B・D3-edgeの3モデルを同じL40S上に常駐させている。実測のGPUメモリ使用ピークも3方式で同じ約34.3GiBだった。 したがって、GPU使用率や消費電力量の改善が、そのままEC2の利用料金削減につながるわけではない。クラウド費用を下げるには、同じ品質・負荷をより安価なGPU構成でさばけるか、あるいは必要なGPU台数を減らせるかまで確認する必要がある。 今回のPoCで確認できたのは、「質問に応じて生成モデルを自動選択する」仕組みの実現可能性だ。今後は、未見の質問による精度評価、キャッシュなしでのD3-edge推論時間、人手による回答品質評価、同時アクセス時のスループット比較を進めたい。 参考： vLLM Semantic Router（GitHub） ／ Decision選択アルゴリズムの公式ドキュメント

My first PR just got merged into @vllm_project Semantic Router! What I did: Fixed cross-platform CLI crashes on Windows by enforcing explicit UTF-8 config file operations, backed by automated regression tests. PR: semantic-router#5339

MOE routers silently replacing Decision models We raced Jev, the decision model you pay for, against free routers on the same 517 real GitHub issues with known answers: the vLLM team's free d3 decision models, and the routers inside two open mixture-of-experts models (OLMoE and DeepSeek-V2-Lite), read by a small reader, with plain code as the baseline. What if the first decision model wasn't Jev at all, but a router? A year before Jev, vLLM's Semantic Router put a small classifier in front of open models that decides, for every request, whether it needs step-by-step reasoning; now its team gives away decision models that work the way Jev does, and most big open models have routers inside them too. Jev still leads at 76 in a hundred; the free routers reach 70. THE SCRIPT AND EVERY READOUT, ISSUE BY ISSUE: github.com/PiPercentHuman/PiPercentHiman_Shareabl… More from this channel: PiPercentHuman/PiPercentHiman_Shareables WHAT WAS TESTED 517 issues from the ollama/ollama repository, each labelled by a maintainer as bug, feature, question, docs or model request (bug 120, docs 37, feature 120, model_request 120, question 120). Models: Qwen3-8B and OLMoE-1B-7B-0125-Instruct loaded in 4 bits; DeepSeek-V2-Lite-Chat in bf16, run one layer at a time. OLMoE has 16 expert layers of 64 experts with 8 picked for every word; DeepSeek-V2-Lite has 26 of 64 with 6 picked and 2 always on. "Asked" is the probability a model puts on each answer's letter. "Last layer" and "router" are a logistic-regression reader fitted on four fifths of the issues and tested on the fifth it never saw, five times over. The router reader sees only how often each expert was picked on each layer. These readers learn from this project's labels, which Jev never saw, so their fair rival is word counts with the same labels and the same reader. d3-edge (0.6B), d3-lite (0.9B) and d3-nano (2B) were given exactly the request Jev was given (the same issue text, the same question and five answers) with no training on these issues; the larger d3 models were not run. Jev and keyword matching are the records made on the same issues on 2026-09-28. One job, one run of each readout. The hospital in the video is an analogy, and what this means for frontier models is our reading. RESULTS (agreement with the maintainers, of 517) - Jev (bought, never saw this project): 395 (76.4%). Keyword matching: 243 (47.0%). - The vLLM team's decision models, asked Jev's request, no training here: d3-edge 297 (57.4%), d3-lite 328 (63.4%), d3-nano 363 (70.2%). - Qwen3-8B asked: 345 (66.7%); a reader on its last layer: 393 (76.0%). - Word counts, same reader, same labels: 341 (66.0%). - OLMoE asked: 135 (26.1%); it said bug 287 times. Its router alone: 363 (70.2%); its last layer 374 (72.3%). The router of the first layer only: 298; of the first five of 16: 368; from there between 362 and 375. - DeepSeek-V2-Lite asked: 141 (27.3%). Its router alone: 367 (71.0%); its last layer 365 (70.6%). The router of the first layer only: 288; of the first 13 of 26: 362. - With the labels shuffled, the router readers fall to chance: 116 (OLMoE) and 103 (DeepSeek). 0:00 The router at the door 0:25 The routers inside 0:52 The race 1:14 What a decision model reads 1:45 Level with the bought one 2:16 The door's own decision models 2:37 A triage nurse on every floor 3:13 The model that says bug 3:38 The paging log 4:16 Decided by the fifth floor 4:32 A second hospital 4:59 What happens to the frontier model 5:36 The answer 6:10 Get it SOURCES - When to Reason: Semantic Router for vLLM (Wang et al., 2025): arxiv.org - vLLM Semantic Router (the project): vllm-project/semantic-router - vLLM blog, Semantic Router (2025-09-11): vllm.ai - The d3 decision models (Decision 3.0): huggingface.co - TypeSafe, Introducing System One Models and Jev: typesafe.ai - OpenAI, GPT-5 system card (the router in front, and the plan to fold it into one model): deploymentsafety.openai.com - DeepSeek-V3 configuration (61 layers, 256 routed experts, 8 per word): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (Allen AI): huggingface.co - Task-Conditioned Routing Signatures in Sparse Mixture-of-Experts Transformers (2026): arxiv.org This channel is not affiliated with any of the companies named. #Jev #DecisionModel #LocalLLM [ar] مُوجهات MOE تحل محل نماذج اتخاذ القرار بصمت قارنّا بين Jev، نموذج اتخاذ القرار المدفوع، ونماذج التوجيه المجانية على نفس 517 مشكلة حقيقية على GitHub ذات إجابات معروفة: نماذج اتخاذ القرار المجانية من فريق vLLM باستخدام d3، ونماذج التوجيه داخل نموذجين مفتوحين لمزيج الخبراء (OLMoE وDeepSeek-V2-Lite)، والتي يقرأها قارئ صغير، مع استخدام الكود العادي كأساس. ماذا لو لم يكن نموذج اتخاذ القرار الأول هو Jev على الإطلاق، بل نموذج توجيه؟ قبل عام من Jev، وضع Semantic Router من vLLM مصنفًا صغيرًا أمام النماذج المفتوحة التي تقرر، لكل طلب، ما إذا كان يحتاج إلى استدلال خطوة بخطوة؛ الآن يقدم فريقه نماذج اتخاذ قرار تعمل بنفس طريقة Jev، ومعظم النماذج المفتوحة الكبيرة تحتوي على نماذج توجيه بداخلها أيضًا. لا يزال Jev متقدمًا بنسبة 76 من 100. تصل أجهزة التوجيه المجانية إلى 70. النص البرمجي وكل قراءة، مشكلة تلو الأخرى: github.com/PiPercentHuman/PiPercentHiman_Shareabl… المزيد من هذه القناة: PiPercentHuman/PiPercentHiman_Shareables ما تم اختباره: 517 مشكلة من مستودع ollama/ollama، قام أحد المشرفين بتصنيف كل منها كخطأ، أو ميزة، أو سؤال، أو توثيق، أو طلب نموذج (الخطأ 120، التوثيق 37، الميزة 120، طلب النموذج 120، السؤال 120). النماذج: Qwen3-8B وOLMoE-1B-7B-0125-Instruct محملة في 4 بتات. يعمل DeepSeek-V2-Lite-Chat في bf16، طبقةً تلو الأخرى. يحتوي OLMoE على 16 طبقة خبير، تضم كل منها 64 خبيرًا، حيث يتم اختيار 8 خبراء لكل كلمة. أما DeepSeek-V2-Lite فيحتوي على 26 طبقة خبير، تضم كل منها 64 خبيرًا، حيث يتم اختيار 6 خبراء، بينما يبقى خبيران في وضع التشغيل الدائم. يُمثل "Asked" احتمالية اختيار كل حرف من حروف الإجابة. أما "Last layer" و"router" فهما قارئ انحدار لوجستي مُدرب على أربعة أخماس المشكلات، ومُختبَر على الخُمس الذي لم يره أبدًا، وذلك خمس مرات. يرى قارئ الموجه فقط عدد مرات اختيار كل خبير في كل طبقة. يتعلم هؤلاء القراء من تصنيفات هذا المشروع، والتي لم يرها Jev أبدًا، لذا فإن منافسهم العادل هو عدد الكلمات بنفس التصنيفات ونفس القارئ. تم تزويد نماذج d3-edge (0.6 بايت)، وd3-lite (0.9 بايت)، وd3-nano (2 بايت) بنفس متطلبات Jev (نفس نص المشكلة، ونفس السؤال، وخمس إجابات) دون أي تدريب مسبق على هذه المشكلات؛ ولم يتم تشغيل نماذج d3 الأكبر حجمًا. يُمثل كل من Jev ومطابقة الكلمات المفتاحية السجلات المُسجلة لنفس المشكلات بتاريخ 28 سبتمبر 2026. مهمة واحدة، تشغيل واحد لكل قراءة. المستشفى المذكور في الفيديو هو تشبيه، وما يعنيه ذلك بالنسبة للنماذج الرائدة هو تفسيرنا. النتائج (موافقة من 517 على الصيانة) - Jev (تم شراؤه، ولم يسبق له الاطلاع على هذا المشروع): 395 (76.4%). مطابقة الكلمات المفتاحية: 243 (47.0%). النتائج (موافقة من 517 على الصيانة) - Jev (تم شراؤه، ولم يسبق له الاطلاع على هذا المشروع): 395 (76.4%). مطابقة الكلمات المفتاحية: 243 (47.0%). - نماذج اتخاذ القرار لفريق vLLM، بناءً على طلب جيف، بدون تدريب: d3-edge 297 (57.4%)، d3-lite 328 (63.4%)، d3-nano 363 (70.2%). - Qwen3-8B: 345 (66.7%)؛ قارئ في طبقته الأخيرة: 393 (76.0%). - عدد الكلمات، نفس القارئ، نفس التصنيفات: 341 (66.0%). - OLMoE: 135 (26.1%)؛ ذكر وجود خطأ برمجي 287 مرة. جهاز التوجيه الخاص به فقط: 363 (70.2%)؛ طبقته الأخيرة: 374 (72.3%). جهاز التوجيه في الطبقة الأولى فقط: 298؛ من أول خمس طبقات من أصل 16: 368. من هناك، تراوحت النتائج بين 362 و375. - سأل DeepSeek-V2-Lite: 141 (27.3%). جهاز التوجيه الخاص به وحده: 367 (71.0%)؛ الطبقة الأخيرة منه: 365 (70.6%). جهاز التوجيه للطبقة الأولى فقط: 288؛ من أول 13 من أصل 26: 362. - بعد إعادة ترتيب التصنيفات، أصبحت قراءة أجهزة التوجيه عشوائية: 116 (OLMoE) و103 (DeepSeek). 0:00 جهاز التوجيه عند الباب 0:25 أجهزة التوجيه بالداخل 0:52 السباق 1:14 ما يقرأه نموذج القرار 1:45 مستوى مع النموذج المُشترى 2:16 نماذج القرار الخاصة بالباب 2:37 ممرضة فرز في كل طابق 3:13 النموذج الذي يقول "خلل" 3:38 سجل الاستدعاء 4:16 تم اتخاذ القرار من الطابق الخامس 4:32 مستشفى ثانٍ 4:59 ماذا يحدث لنموذج الحدود؟ 5:36 الإجابة 6:10 فهمت المصادر - متى نستخدم الاستدلال: Semantic Router لـ vLLM (وانغ وآخرون، 2025): arxiv.org - مشروع vLLM Semantic Router: vllm-project/semantic-router - مدونة vLLM، Semantic Router (2025-09-11): vllm.ai - نماذج القرار d3 (القرار 3.0): huggingface.co - TypeSafe، تقديم نماذج System One وJev: typesafe.ai - OpenAI، بطاقة نظام GPT-5 (الموجّه في المقدمة، وخطة دمجه في نموذج واحد): deploymentsafety.openai.com - تكوين DeepSeek-V3 (61 طبقة، 256 خبيرًا موجّهًا، 8 لكل كلمة): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (Allen AI): huggingface.co - توقيعات التوجيه المشروطة بالمهام في محولات مزيج الخبراء المتفرقة (2026): arxiv.org هذه القناة غير تابعة لأي من الشركات المذكورة. #Jev #DecisionModel #LocalLLM [bn] ডিসিশন মডেলের জায়গা নিচ্ছে MOE রাউটার আমরা Jev (একটি অর্থপ্রদত্ত ডিসিশন মডেল)-কে, পরিচিত উত্তরসহ একই ৫১৭টি আসল GitHub ইস্যুর উপর বিনামূল্যের রাউটারগুলোর সাথে প্রতিযোগিতায় নামিয়েছিলাম। এই রাউটারগুলো হলো: vLLM টিমের বিনামূল্যের d3 ডিসিশন মডেল এবং দুটি ওপেন মিক্সচার-অফ-এক্সপার্টস মডেলের (OLMoE এবং DeepSeek-V2-Lite) ভেতরের রাউটার, যা একটি ছোট রিডার দ্বারা পঠিত হয় এবং যার বেসলাইন হিসেবে ছিল সাধারণ কোড। কী হতো যদি প্রথম ডিসিশন মডেলটি Jev না হয়ে একটি রাউটার হতো? Jev-এর এক বছর আগে, vLLM-এর Semantic Router ওপেন মডেলগুলোর সামনে একটি ছোট ক্লাসিফায়ার স্থাপন করেছিল, যা প্রতিটি অনুরোধের জন্য সিদ্ধান্ত নিত যে সেটির ধাপে ধাপে যুক্তির প্রয়োজন আছে কি না; এখন এর টিম এমন ডিসিশন মডেল বিনামূল্যে দেয় যা Jev-এর মতোই কাজ করে, এবং বেশিরভাগ বড় ওপেন মডেলের ভেতরেও রাউটার থাকে। একশটির মধ্যে ৭৬টিতে এগিয়ে থেকে Jev এখনও এগিয়ে আছে; ফ্রি রাউটারের সংখ্যা ৭০-এ পৌঁছেছে। স্ক্রিপ্ট এবং প্রতিটি রিডআউট, ইস্যু অনুযায়ী: github.com/PiPercentHuman/PiPercentHiman_Shareabl… এই চ্যানেল থেকে আরও: PiPercentHuman/PiPercentHiman_Shareables যা ​​পরীক্ষা করা হয়েছে ollama/ollama রিপোজিটরি থেকে ৫১৭টি ইস্যু, প্রতিটি মেইনটেইনার দ্বারা বাগ, ফিচার, প্রশ্ন, ডক্স বা মডেল রিকোয়েস্ট হিসেবে লেবেল করা হয়েছে (বাগ ১২০, ডক্স ৩৭, ফিচার ১২০, মডেল_রিকোয়েস্ট ১২০, প্রশ্ন ১২০)। মডেল: Qwen3-8B এবং OLMoE-1B-7B-0125-Instruct ৪ বিটে লোড করা হয়েছে; DeepSeek-V2-Lite-Chat bf16-এ, একবারে একটি লেয়ার করে চালানো হয়েছে। OLMoE-তে ৬৪ জন বিশেষজ্ঞের ১৬টি স্তর রয়েছে, যেখানে প্রতিটি শব্দের জন্য ৮ জনকে বেছে নেওয়া হয়; DeepSeek-V2-Lite-এ ৬৪ জনের মধ্যে ২৬ জন বিশেষজ্ঞ রয়েছে, যাদের মধ্যে ৬ জনকে বেছে নেওয়া হয় এবং ২ জন সর্বদা সক্রিয় থাকে। "আস্কড" হলো প্রতিটি উত্তরের অক্ষরের উপর একটি মডেলের দেওয়া সম্ভাবনা। "লাস্ট লেয়ার" এবং "রাউটার" হলো একটি লজিস্টিক-রিগ্রেশন রিডার, যা ইস্যুগুলোর চার-পঞ্চমাংশের উপর ফিট করা হয় এবং যে পঞ্চমটি এটি কখনও দেখেনি, তার উপর পাঁচবার পরীক্ষা করা হয়। রাউটার রিডারটি শুধুমাত্র দেখতে পায় যে প্রতিটি স্তরে প্রতিটি বিশেষজ্ঞকে কতবার বেছে নেওয়া হয়েছে। এই রিডারগুলো এই প্রকল্পের লেবেলগুলো থেকে শেখে, যা জেভ কখনও দেখেনি, তাই তাদের ন্যায্য প্রতিদ্বন্দ্বী হলো একই লেবেল এবং একই রিডার দিয়ে করা শব্দ গণনা। d3-edge (0.6B), d3-lite (0.9B) এবং d3-nano (2B)-কে ঠিক সেই অনুরোধটিই দেওয়া হয়েছিল যা জেভকে দেওয়া হয়েছিল (একই ইস্যুর টেক্সট, একই প্রশ্ন এবং পাঁচটি উত্তর), এই ইস্যুগুলোর উপর কোনো প্রশিক্ষণ ছাড়াই; বৃহত্তর d3 মডেলগুলো চালানো হয়নি। Jev এবং কীওয়ার্ড ম্যাচিং হলো ২০২৬-০৯-২৮ তারিখে একই ইস্যুগুলোর উপর করা রেকর্ড। একটি জব, প্রতিটি রিডআউটের একটি করে রান। ভিডিওতে দেখানো হাসপাতালটি একটি উপমা, এবং ফ্রন্টিয়ার মডেলগুলোর জন্য এর অর্থ কী, সেটাই আমাদের পাঠ। ফলাফল (রক্ষণাবেক্ষণকারীদের সাথে সম্মতি, মোট ৫১৭টি) - Jev (কেনা হয়েছে, এই প্রজেক্টটি কখনও দেখা হয়নি): ৩৯৫ (৭৬.৪%)। কীওয়ার্ড ম্যাচিং: ২৪৩ (৪৭.০%)। - vLLM টিমের ডিসিশন মডেলগুলো, Jev-এর অনুরোধে করা হয়েছে, এখানে কোনো ট্রেনিং করা হয়নি: d3-edge ২৯৭ (৫৭.৪%), d3-lite ৩২৮ (৬৩.৪%), d3-nano ৩৬৩ (৭০.২%)। - Qwen3-8B-এর জন্য অনুরোধ করা হয়েছে: ৩৪৫ (৬৬.৭%); এর শেষ লেয়ারে একটি রিডার: ৩৯৩ (৭৬.০%)। - শব্দ সংখ্যা, একই রিডার, একই লেবেল: ৩৪১ (৬৬.০%)। - OLMoE জিজ্ঞাসা করেছে: ১৩৫ (২৬.১%); এটি ২৮৭ বার 'বাগ' বলেছে। শুধুমাত্র এর রাউটার: ৩৬৩ (৭০.২%); এর শেষ স্তর: ৩৭৪ (৭২.৩%)। শুধুমাত্র প্রথম স্তরের রাউটার: ২৯৮; ১৬টির মধ্যে প্রথম পাঁচটি: ৩৬৮; সেখান থেকে ৩৬২ থেকে ৩৭৫-এর মধ্যে। - DeepSeek-V2-Lite জিজ্ঞাসা করেছে: ১৪১ (২৭.৩%)। শুধুমাত্র এর রাউটার: ৩৬৭ (৭১.০%); এর শেষ স্তর: ৩৬৫ (৭০.৬%)। শুধুমাত্র প্রথম স্তরের রাউটার: ২৮৮; ২৬টির মধ্যে প্রথম ১৩টি: ৩৬২। - লেবেলগুলো এলোমেলো করে দিলে, রাউটার রিডারগুলো দৈবচয়নের উপর নির্ভর করে: ১১৬ (OLMoE) এবং ১০৩ (DeepSeek)। ০:০০ দরজার রাউটার ০:২৫ ভেতরের রাউটারগুলো ০:৫২ দৌড় ১:১৪ একটি ডিসিশন মডেল যা পড়ে ১:৪৫ কেনা জিনিসটির সাথে লেভেল ২:১৬ দরজার নিজস্ব ডিসিশন মডেল ২:৩৭ প্রতিটি ফ্লোরে একজন ট্রায়েজ নার্স ৩:১৩ যে মডেলটি বাগ বলে ৩:৩৮ পেজিং লগ ৪:১৬ পঞ্চম ফ্লোর দ্বারা সিদ্ধান্ত নেওয়া ৪:৩২ একটি দ্বিতীয় হাসপাতাল ৪:৫৯ ফ্রন্টিয়ার মডেলের কী হয় ৫:৩৬ উত্তর ৬:১০ বুঝে নিন উৎস - কখন যুক্তি দিতে হবে: vLLM-এর জন্য সিমান্টিক রাউটার (ওয়াং প্রমুখ, ২০২৫): arxiv.org - vLLM সিমান্টিক রাউটার (প্রকল্পটি): vllm-project/semantic-router - vLLM ব্লগ, সিমান্টিক রাউটার (২০২৫-০৯-১১): vllm.ai - d3 ডিসিশন মডেল (ডিসিশন ৩.০): huggingface.co - TypeSafe, সিস্টেম ওয়ান মডেল এবং Jev-এর পরিচিতি: typesafe.ai - OpenAI, GPT-5 সিস্টেম কার্ড (সামনের রাউটার, এবং এটিকে একটি মডেলে একীভূত করার পরিকল্পনা): deploymentsafety.openai.com - DeepSeek-V3 কনফিগারেশন (৬১টি লেয়ার, ২৫৬টি রাউটেড এক্সপার্ট, প্রতি শব্দে ৮টি): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (অ্যালেন এআই): huggingface.co - Sparse Mixture-of-Experts Transformers-এ Task-Conditioned Routing Signatures (2026): arxiv.org এই চ্যানেলটি উল্লিখিত কোনো কোম্পানির সাথে অধিভুক্ত নয়। #Jev #DecisionModel #LocalLLM [de-DE] MOE-Router ersetzen stillschweigend Entscheidungsmodelle Wir haben Jev, das kostenpflichtige Entscheidungsmodell, mit kostenlosen Routern anhand derselben 517 realen GitHub-Issues mit bekannten Antworten verglichen: den kostenlosen d3-Entscheidungsmodellen des vLLM-Teams und den Routern in zwei Open-Source-Mixture-of-Experts-Modellen (OLMoE und DeepSeek-V2-Lite), die von einem kleinen Reader gelesen wurden, wobei reiner Code als Vergleichsbasis diente. Was wäre, wenn das erste Entscheidungsmodell gar nicht Jev, sondern ein Router wäre? Ein Jahr vor Jev schaltete vLLMs Semantic Router einen kleinen Klassifikator vor Open-Source-Modelle, der für jede Anfrage entscheidet, ob eine schrittweise Argumentation erforderlich ist; mittlerweile stellt das Team Entscheidungsmodelle kostenlos zur Verfügung, die ähnlich wie Jev funktionieren, und die meisten großen Open-Source-Modelle enthalten ebenfalls Router. Jev liegt mit 76 von 100 Ergebnissen weiterhin vorn. Die kostenlosen Router erreichen 70. Das Skript und alle Ausgaben, Ausgabe für Ausgabe: github.com/PiPercentHuman/PiPercentHiman_Shareabl… Mehr von diesem Kanal: PiPercentHuman/PiPercentHiman_Shareables Was wurde getestet? 517 Einträge aus dem ollama/ollama-Repository, jeweils von einem Maintainer als Bug, Feature, Frage, Dokumentation oder Modellanfrage gekennzeichnet (Bug: 120, Dokumentation: 37, Feature: 120, Modellanfrage: 120, Frage: 120). Modelle: Qwen3-8B und OLMoE-1B-7B-0125-Instruct in 4 Bit geladen; DeepSeek-V2-Lite-Chat in bf16, jeweils eine Ebene ausgeführt. OLMoE verfügt über 16 Expertenebenen mit 64 Experten, wobei für jedes Wort 8 ausgewählt werden; DeepSeek-V2-Lite über 26 Ebenen mit 64 Experten, von denen 6 ausgewählt und 2 permanent aktiv sind. „Asked“ gibt die Wahrscheinlichkeit an, mit der ein Modell jedem Buchstaben einer Antwort zuordnet. „Last layer“ und „router“ sind logistische Regressionsleser, die mit vier Fünfteln der Aufgaben trainiert und fünfmal mit dem fünften, ihnen unbekannten Fünftel getestet wurden. Der Router-Leser sieht lediglich, wie oft jeder Experte auf jeder Ebene ausgewählt wurde. Diese Leser lernen anhand der Labels dieses Projekts, die Jev nie gesehen hat. Ihr direkter Vergleichswert sind daher Wortzählungen mit denselben Labels und demselben Leser. d3-edge (0,6 Mrd.), d3-lite (0,9 Mrd.) und d3-nano (2 Mrd.) erhielten exakt dieselbe Anfrage wie Jev (denselben Aufgabentext, dieselbe Frage und fünf Antworten) ohne vorheriges Training mit diesen Aufgaben; die größeren d3-Modelle wurden nicht ausgeführt. Jev und Keyword-Matching sind die Datensätze, die am 28.09.2026 zu denselben Problemen erstellt wurden. Ein Job, ein Durchlauf pro Auslesung. Das Krankenhaus im Video dient als Analogie; die Bedeutung für Frontier-Modelle wird in unserer Interpretation erläutert. ERGEBNISSE (Übereinstimmung mit den Maintainern, von 517) - Jev (gekauft, Projekt unbekannt): 395 (76,4 %). Keyword-Matching: 243 (47,0 %). - Die Entscheidungsmodelle des vLLM-Teams, die Jevs Anfrage beantworteten (kein Training): d3-edge 297 (57,4 %), d3-lite 328 (63,4 %), d3-nano 363 (70,2 %). - Qwen3-8B beantwortete die Anfrage: 345 (66,7 %); ein Reader auf der letzten Ebene: 393 (76,0 %). - Wortanzahl, gleicher Reader, gleiche Labels: 341 (66,0 %). - OLMoE fragte: 135 (26,1 %); dabei wurde 287 Mal „Bug“ genannt. Allein der Router: 363 (70,2 %); die letzte Schicht: 374 (72,3 %). Nur der Router der ersten Schicht: 298; von den ersten fünf von 16: 368; danach zwischen 362 und 375. - DeepSeek-V2-Lite fragte: 141 (27,3 %). Allein der Router: 367 (71,0 %); die letzte Schicht: 365 (70,6 %). Nur der Router der ersten Schicht: 288; von den ersten 13 von 26: 362. - Bei zufälliger Anordnung der Labels verteilt sich die Anzahl der Router-Reader auf den Zufall: 116 (OLMoE) und 103 (DeepSeek). 0:00 Der Router an der Tür 0:25 Die Router im Inneren 0:52 Das Rennen 1:14 Was ein Entscheidungsmodell aussagt 1:45 Gleichauf mit dem gekauften Modell 2:16 Die Entscheidungsmodelle der Tür 2:37 Eine Triage-Schwester auf jeder Etage 3:13 Das Modell, das einen Fehler meldet 3:38 Das Paging-Protokoll 4:16 Entscheidung der fünften Etage 4:32 Ein zweites Krankenhaus 4:59 Was passiert mit dem Frontier-Modell? 5:36 Die Antwort 6:10 Verstanden QUELLEN - When to Reason: Semantic Router for vLLM (Wang et al., 2025): arxiv.org - vLLM Semantic Router (das Projekt): vllm-project/semantic-router - vLLM-Blog, Semantic Router (11.09.2025): vllm.ai - Die d3-Entscheidungsmodelle (Decision 3.0): huggingface.co - TypeSafe, Einführung in System-One-Modelle und Jev: typesafe.ai - OpenAI, GPT-5-Systemkarte (der Router im Vordergrund und der Plan, ihn in ein einziges Modell zu integrieren): deploymentsafety.openai.com - DeepSeek-V3-Konfiguration (61 Schichten, 256 geroutete Experten, 8 pro Wort): huggingface.co... [es-US] Los enrutadores MOE reemplazan silenciosamente a los modelos de decisión Competimos con Jev, el modelo de decisión de pago, contra enrutadores gratuitos en los mismos 517 problemas reales de GitHub con respuestas conocidas: los modelos de decisión d3 gratuitos del equipo vLLM y los enrutadores dentro de dos modelos abiertos de mezcla de expertos (OLMoE y DeepSeek-V2-Lite), leídos por un pequeño lector, con código plano como base. ¿Qué pasaría si el primer modelo de decisión no fuera Jev en absoluto, sino un enrutador? Un año antes de Jev, el enrutador semántico de vLLM puso un pequeño clasificador delante de los modelos abiertos que decide, para cada solicitud, si necesita razonamiento paso a paso; ahora su equipo regala modelos de decisión que funcionan como lo hace Jev, y la mayoría de los grandes modelos abiertos también tienen enrutadores dentro de ellos. Jev todavía lidera en 76 de cada cien; Los routers gratuitos alcanzan los 70. EL SCRIPT Y TODAS LAS LECTURAS, INCORPORADA POR INCORPORACIÓN: github.com/PiPercentHuman/PiPercentHiman_Shareabl… Más contenido de este canal: PiPercentHuman/PiPercentHiman_Shareables QUÉ SE PROBÓ 517 incidencias del repositorio ollama/ollama, cada una etiquetada por un mantenedor como error, característica, pregunta, documentación o solicitud de modelo (error: 120; documentación: 37; característica: 120; solicitud de modelo: 120; pregunta: 120). Modelos: Qwen3-8B y OLMoE-1B-7B-0125-Instruct cargados en 4 bits; DeepSeek-V2-Lite-Chat en bf16, ejecutándose una capa a la vez. OLMoE tiene 16 capas de expertos de 64 expertos con 8 seleccionados para cada palabra; DeepSeek-V2-Lite tiene 26 de 64 con 6 seleccionados y 2 siempre activos. "Preguntado" es la probabilidad que un modelo pone en cada letra de respuesta. "Última capa" y "enrutador" son un lector de regresión logística ajustado en cuatro quintas partes de los problemas y probado en la quinta que nunca vio, cinco veces. El lector enrutador solo ve con qué frecuencia se seleccionó a cada experto en cada capa. Estos lectores aprenden de las etiquetas de este proyecto, que Jev nunca vio, por lo que su rival justo son los recuentos de palabras con las mismas etiquetas y el mismo lector. d3-edge (0,6 B), d3-lite (0,9 B) y d3-nano (2 B) recibieron exactamente la solicitud que se le dio a Jev (el mismo texto del problema, la misma pregunta y cinco respuestas) sin entrenamiento en estos problemas; los modelos d3 más grandes no se ejecutaron. Jev y la coincidencia de palabras clave son los registros realizados sobre los mismos temas el 28/09/2026. Un trabajo, una ejecución de cada lectura. El hospital del vídeo es una analogía, y su significado para los modelos de frontera es nuestra interpretación. RESULTADOS (acuerdo con los mantenedores, de 517) - Jev (adquirido, nunca vi este proyecto): 395 (76,4%). Coincidencia de palabras clave: 243 (47,0%). - Los modelos de decisión del equipo vLLM, consultados a petición de Jev, sin entrenamiento previo: d3-edge 297 (57,4%), d3-lite 328 (63,4%), d3-nano 363 (70,2%). - Qwen3-8B consultado: 345 (66,7%); un lector en su última capa: 393 (76,0%). - Recuento de palabras, mismo lector, mismas etiquetas: 341 (66,0%). - OLMoE preguntó: 135 (26,1%); mencionó "bug" 287 veces. Su enrutador solo: 363 (70,2%); su última capa: 374 (72,3%). El enrutador de la primera capa solamente: 298; de los primeros cinco de 16: 368; de ahí entre 362 y 375. - DeepSeek-V2-Lite preguntó: 141 (27,3%). Su enrutador solo: 367 (71,0%); su última capa: 365 (70,6%). El enrutador de la primera capa solamente: 288; de los primeros 13 de 26: 362. - Con las etiquetas reordenadas, los lectores de enrutadores caen al azar: 116 (OLMoE) y 103 (DeepSeek). 0:00 El enrutador en la puerta 0:25 Los enrutadores dentro 0:52 La carrera 1:14 Lo que lee un modelo de decisión 1:45 Al mismo nivel que el comprado 2:16 Los modelos de decisión de la puerta 2:37 Una enfermera de triaje en cada piso 3:13 El modelo que dice error 3:38 El registro de paginación 4:16 Decidido por el quinto piso 4:32 Un segundo hospital 4:59 Qué sucede con el modelo frontera 5:36 La respuesta 6:10 Entiéndelo FUENTES - When to Reason: Semantic Router for vLLM (Wang et al., 2025): arxiv.org - vLLM Semantic Router (el proyecto): vllm-project/semantic-router - Blog de vLLM, Semantic Router (11/09/2025): vllm.ai - Los modelos de decisión d3 (Decision 3.0): huggingface.co - TypeSafe, Introducción a los modelos System One y Jev: typesafe.ai - OpenAI, Tarjeta del sistema GPT-5 (el enrutador frontal y el plan para integrarlo en un solo modelo): deploymentsafety.openai.com - Configuración de DeepSeek-V3 (61 capas, 256 expertos enrutados, 8 por palabra): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (Allen AI): h... [fr-FR] Les routeurs MoE remplacent silencieusement les modèles de décision Nous avons comparé Jev, le modèle de décision payant, à des routeurs gratuits sur les mêmes 517 problèmes GitHub réels dont les solutions étaient connues : les modèles de décision d3 gratuits de l’équipe vLLM et les routeurs intégrés à deux modèles open source de type mélange d’experts (OLMoE et DeepSeek-V2-Lite), lus par un petit lecteur, avec du code source brut comme référence. Et si le premier modèle de décision n’était pas Jev, mais un routeur ? Un an avant Jev, le routeur sémantique de vLLM plaçait un petit classificateur devant les modèles open source pour décider, pour chaque requête, si un raisonnement étape par étape était nécessaire ; aujourd’hui, son équipe propose gratuitement des modèles de décision fonctionnant comme Jev, et la plupart des grands modèles open source intègrent également des routeurs. Jev reste en tête avec 76 % des cas. Les routeurs gratuits atteignent 70. LE SCRIPT ET CHAQUE LECTURE, PROBLÈME PAR PROBLÈME : github.com/PiPercentHuman/PiPercentHiman_Shareabl… Plus de contenu de cette chaîne : PiPercentHuman/PiPercentHiman_Shareables ÉLÉMENTS TESTÉ 517 problèmes du dépôt ollama/ollama, chacun étiqueté par un mainteneur comme bug, fonctionnalité, question, documentation ou demande de modèle (120 bugs, 37 documentations, 120 fonctionnalités, 120 demandes de modèle, 120 questions). Modèles : Qwen3-8B et OLMoE-1B-7B-0125-Instruct chargés en 4 bits ; DeepSeek-V2-Lite-Chat en bf16, exécuté couche par couche. OLMoE comporte 16 couches d'experts, soit 64 experts au total, avec 8 experts sélectionnés pour chaque mot. DeepSeek-V2-Lite en compte 26 sur 64, avec 6 experts sélectionnés et 2 toujours actifs. « Asked » correspond à la probabilité attribuée par le modèle à chaque lettre de réponse. Les couches « Last layer » et « router » sont un lecteur de régression logistique entraîné sur les quatre cinquièmes des problèmes et testé cinq fois sur le cinquième, inédit. Le lecteur « router » observe uniquement la fréquence de sélection de chaque expert à chaque couche. Ces lecteurs apprennent à partir des étiquettes de ce projet, que Jev n'a jamais vues. Leur principal concurrent est donc le comptage des mots avec les mêmes étiquettes et le même lecteur. d3-edge (0,6B), d3-lite (0,9B) et d3-nano (2B) ont reçu exactement la même requête que Jev (le même texte, la même question et les cinq réponses), sans entraînement sur ces problèmes. Les modèles d3 plus volumineux n'ont pas été exécutés. Jev et la correspondance par mots-clés correspondent aux enregistrements effectués sur les mêmes problèmes le 28/09/2026. Une tâche, une exécution pour chaque lecture. L'hôpital présenté dans la vidéo est une analogie, et ce que cela signifie pour les modèles de pointe est notre interprétation. RÉSULTATS (accord avec les mainteneurs, sur 517) - Jev (acheté, je n'ai jamais vu ce projet) : 395 (76,4 %). Correspondance par mots-clés : 243 (47,0 %). - Modèles de décision de l'équipe vLLM, suite à la demande de Jev, sans entraînement : d3-edge 297 (57,4 %), d3-lite 328 (63,4 %), d3-nano 363 (70,2 %). - Qwen3-8B demandé : 345 (66,7 %) ; un lecteur sur sa dernière couche : 393 (76,0 %). - Nombre de mots, même lecteur, mêmes étiquettes : 341 (66,0 %). - OLMoE a posé 135 requêtes (26,1 %) ; il a signalé « bug » 287 fois. Son routeur seul : 363 (70,2 %) ; sa dernière couche : 374 (72,3 %). Le routeur de la première couche uniquement : 298 ; parmi les cinq premiers sur 16 : 368 ; ensuite, entre 362 et 375. - DeepSeek-V2-Lite a posé 141 requêtes (27,3 %). Son routeur seul : 367 (71,0 %) ; sa dernière couche : 365 (70,6 %). Le routeur de la première couche uniquement : 288 ; parmi les 13 premiers sur 26 : 362. - Avec les étiquettes mélangées, le nombre de lecteurs de routeurs est aléatoire : 116 (OLMoE) et 103 (DeepSeek). 0:00 Le routeur à la porte 0:25 Les routeurs à l'intérieur 0:52 La course 1:14 Ce que lit un modèle de décision 1:45 Niveau avec celui acheté 2:16 Les propres modèles de décision de la porte 2:37 Une infirmière de triage à chaque étage 3:13 Le modèle qui signale un bug 3:38 Le journal de pagination 4:16 Décidé par le cinquième étage 4:32 Un deuxième hôpital 4:59 Qu'advient-il du modèle de frontière ? 5:36 La réponse 6:10 Compris SOURCES - When to Reason: Semantic Router for vLLM (Wang et al., 2025) : arxiv.org - vLLM Semantic Router (le projet) : vllm-project/semantic-router - Blog vLLM, Semantic Router (11/09/2025) : vllm.ai - Les modèles de décision d3 (Decision 3.0) : huggingface.co - TypeSafe, présentation des modèles System One et de Jev : typesafe.ai - OpenAI, carte système GPT-5 (le routeur en amont et le projet d'intégration en un seul modèle) : deploymentsafety.openai.com - Configuration de DeepSeek-V3 (61 couches, 256 experts routés, 8 par mot) : hug... [hi] MOE राउटर्स चुपचाप डिसीजन मॉडल्स की जगह ले रहे हैं हमने Jev नामक निर्णय मॉडल की तुलना मुफ़्त राउटरों से उन्हीं 517 वास्तविक GitHub समस्याओं पर की जिनके उत्तर ज्ञात थे: vLLM टीम के मुफ़्त d3 निर्णय मॉडल, और दो ओपन मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल (OLMoE और DeepSeek-V2-Lite) के भीतर मौजूद राउटर, जिन्हें एक छोटे रीडर द्वारा पढ़ा जाता है, और जिसमें सरल कोड आधार रेखा के रूप में है। क्या होगा यदि पहला निर्णय मॉडल Jev न होकर एक राउटर हो? Jev से एक वर्ष पहले, vLLM के सिमेंटिक राउटर ने ओपन मॉडलों के सामने एक छोटा क्लासिफायर रखा था जो प्रत्येक अनुरोध के लिए यह तय करता है कि उसे चरण-दर-चरण तर्क की आवश्यकता है या नहीं; अब इसकी टीम ऐसे निर्णय मॉडल मुफ़्त में देती है जो Jev की तरह काम करते हैं, और अधिकांश बड़े ओपन मॉडलों में भी राउटर होते हैं। Jev अभी भी 100 में से 76 अंकों के साथ अग्रणी है; फ्री राउटर 70 तक पहुँचते हैं। स्क्रिप्ट और हर समस्या का विस्तृत विवरण: github.com/PiPercentHuman/PiPercentHiman_Shareabl… इस चैनल से और भी सामग्री: PiPercentHuman/PiPercentHiman_Shareables परीक्षण क्या किया गया ollama/ollama रिपॉजिटरी से 517 समस्याएँ, जिनमें से प्रत्येक को एक मेंटेनर द्वारा बग, फ़ीचर, प्रश्न, दस्तावेज़ या मॉडल अनुरोध के रूप में वर्गीकृत किया गया है (बग 120, दस्तावेज़ 37, फ़ीचर 120, मॉडल अनुरोध 120, प्रश्न 120)। मॉडल: Qwen3-8B और OLMoE-1B-7B-0125-Instruct को 4 बिट्स में लोड किया गया; DeepSeek-V2-Lite-Chat को bf16 में लोड किया गया, और एक समय में एक लेयर चलाई गई। OLMoE में 64 विशेषज्ञों की 16 विशेषज्ञ परतें हैं, जिनमें से प्रत्येक शब्द के लिए 8 विशेषज्ञों का चयन किया जाता है; DeepSeek-V2-Lite में 64 में से 26 विशेषज्ञ हैं, जिनमें से 6 का चयन किया जाता है और 2 हमेशा सक्रिय रहते हैं। "पूछा गया" वह संभावना है जो मॉडल प्रत्येक उत्तर के अक्षर पर लगाता है। "अंतिम परत" और "राउटर" एक लॉजिस्टिक-रिग्रेशन रीडर हैं जिन्हें चार-पांचवें मुद्दों पर फिट किया गया है और पांचवें मुद्दे पर, जिसे उन्होंने कभी नहीं देखा, पांच बार परीक्षण किया गया है। राउटर रीडर केवल यह देखता है कि प्रत्येक परत पर प्रत्येक विशेषज्ञ को कितनी बार चुना गया। ये रीडर इस प्रोजेक्ट के लेबल से सीखते हैं, जिन्हें जेव ने कभी नहीं देखा, इसलिए उनका उचित प्रतिद्वंद्वी समान लेबल और समान रीडर के साथ शब्द गणना है। d3-edge (0.6B), d3-lite (0.9B) और d3-nano (2B) को ठीक वही अनुरोध दिया गया जो जेव को दिया गया था (समान मुद्दे का पाठ, समान प्रश्न और पांच उत्तर) इन मुद्दों पर कोई प्रशिक्षण नहीं दिया गया; बड़े d3 मॉडल नहीं चलाए गए। जेव और कीवर्ड मिलान 2026-09-28 को एक ही समस्या पर बनाए गए रिकॉर्ड हैं। एक कार्य, प्रत्येक रीडआउट का एक रन। वीडियो में दिखाया गया अस्पताल एक उपमा है, और फ्रंटियर मॉडल के लिए इसका अर्थ हमारी रीडिंग है। परिणाम (रखरखावकर्ताओं के साथ सहमति, 517 में से) - जेव (खरीदा गया, इस प्रोजेक्ट को कभी नहीं देखा): 395 (76.4%)। कीवर्ड मिलान: 243 (47.0%)। - vLLM टीम के निर्णय मॉडल, जेव के अनुरोध पर, यहाँ कोई प्रशिक्षण नहीं: d3-edge 297 (57.4%), d3-lite 328 (63.4%), d3-nano 363 (70.2%)। - Qwen3-8B से पूछा गया: 345 (66.7%); इसकी अंतिम परत पर एक रीडर: 393 (76.0%)। - शब्द गणना, समान रीडर, समान लेबल: 341 (66.0%)। - OLMoE द्वारा पूछे गए प्रश्न: 135 (26.1%); इसमें 'बग' शब्द 287 बार आया। इसका राउटर अकेले: 363 (70.2%); इसकी अंतिम परत 374 (72.3%)। केवल पहली परत का राउटर: 298; 16 में से पहली पांच परतों का: 368; और उसके बाद 362 से 375 के बीच। - DeepSeek-V2-Lite द्वारा पूछे गए प्रश्न: 141 (27.3%)। इसका राउटर अकेले: 367 (71.0%); इसकी अंतिम परत 365 (70.6%)। केवल पहली परत का राउटर: 288; 26 में से पहली 13 परतों का: 362। - लेबलों को फेरबदल करने पर, राउटर रीडर्स की संख्या संयोगवश 116 (OLMoE) और 103 (DeepSeek) हो जाती है। 0:00 दरवाजे पर राउटर 0:25 अंदर के राउटर 0:52 दौड़ 1:14 निर्णय मॉडल क्या पढ़ता है 1:45 खरीदे गए राउटर के बराबर 2:16 दरवाजे के अपने निर्णय मॉडल 2:37 हर मंजिल पर एक प्राथमिक उपचार नर्स 3:13 बग बताने वाला मॉडल 3:38 पेजिंग लॉग 4:16 पांचवीं मंजिल द्वारा निर्णय 4:32 दूसरा अस्पताल 4:59 फ्रंटियर मॉडल का क्या होता है 5:36 उत्तर 6:10 इसे प्राप्त करें स्रोत - तर्क कब करें: vLLM के लिए सिमेंटिक राउटर (वांग एट अल., 2025): arxiv.org - vLLM सिमेंटिक राउटर (परियोजना): vllm-project/semantic-router - vLLM ब्लॉग, सिमेंटिक राउटर (2025-09-11): vllm.ai - d3 निर्णय मॉडल (निर्णय 3.0): huggingface.co - TypeSafe, सिस्टम वन मॉडल और Jev का परिचय: typesafe.ai - OpenAI, GPT-5 सिस्टम कार्ड (सामने वाला राउटर, और इसे एक मॉडल में समाहित करने की योजना): deploymentsafety.openai.com - DeepSeek-V3 कॉन्फ़िगरेशन (61 परतें, 256 रूटेड विशेषज्ञ, प्रति शब्द 8): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (एलन एआई): huggingface.co - स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स ट्रांसफॉर्मर्स में टास्क-कंडीशन्ड राउटिंग सिग्नेचर (2026): arxiv.org यह चैनल ऊपर उल्लिखित किसी भी कंपनी से संबद्ध नहीं है। #Jev #DecisionModel #LocalLLM [id] Router MOE diam-diam menggantikan model Keputusan Kami menguji Jev, model pengambilan keputusan berbayar, melawan router gratis pada 517 masalah GitHub nyata yang sama dengan jawaban yang diketahui: model pengambilan keputusan d3 gratis dari tim vLLM, dan router di dalam dua model campuran ahli terbuka (OLMoE dan DeepSeek-V2-Lite), yang dibaca oleh pembaca kecil, dengan kode biasa sebagai dasar perbandingan. Bagaimana jika model pengambilan keputusan pertama bukanlah Jev sama sekali, melainkan sebuah router? Setahun sebelum Jev, Semantic Router dari vLLM menempatkan pengklasifikasi kecil di depan model terbuka yang memutuskan, untuk setiap permintaan, apakah perlu penalaran langkah demi langkah; sekarang timnya memberikan model pengambilan keputusan yang bekerja seperti Jev, dan sebagian besar model terbuka besar juga memiliki router di dalamnya. Jev masih memimpin dengan 76 dari seratus; Router gratis mencapai 70. SKRIP DAN SETIAP PEMBACAAN, MASALAH DEMI MASALAH: github.com/PiPercentHuman/PiPercentHiman_Shareabl… Lebih lanjut dari saluran ini: PiPercentHuman/PiPercentHiman_Shareables APA YANG DIUJI 517 masalah dari repositori ollama/ollama, masing-masing diberi label oleh pengelola sebagai bug, fitur, pertanyaan, dokumentasi, atau permintaan model (bug 120, dokumentasi 37, fitur 120, permintaan model 120, pertanyaan 120). Model: Qwen3-8B dan OLMoE-1B-7B-0125-Instruct dimuat dalam 4 bit; DeepSeek-V2-Lite-Chat di bf16, dijalankan satu lapisan pada satu waktu. OLMoE memiliki 16 lapisan ahli dengan 64 ahli yang dipilih untuk setiap kata; DeepSeek-V2-Lite memiliki 26 dari 64 ahli dengan 6 yang dipilih dan 2 selalu aktif. "Ditanyakan" adalah probabilitas yang diberikan model pada setiap huruf jawaban. "Lapisan terakhir" dan "router" adalah pembaca regresi logistik yang dipasang pada empat perlima dari masalah dan diuji pada seperlima yang tidak pernah dilihatnya, sebanyak lima kali. Pembaca router hanya melihat seberapa sering setiap ahli dipilih pada setiap lapisan. Pembaca ini belajar dari label proyek ini, yang tidak pernah dilihat Jev, sehingga saingan yang adil adalah penghitungan kata dengan label yang sama dan pembaca yang sama. d3-edge (0,6B), d3-lite (0,9B) dan d3-nano (2B) diberi permintaan yang sama persis dengan yang diberikan kepada Jev (teks masalah yang sama, pertanyaan yang sama, dan lima jawaban) tanpa pelatihan pada masalah ini; model d3 yang lebih besar tidak dijalankan. Jev dan pencocokan kata kunci adalah catatan yang dibuat pada masalah yang sama pada 28-09-2026. Satu pekerjaan, satu kali pembacaan setiap data. Rumah sakit dalam video adalah analogi, dan apa artinya bagi model-model terdepan adalah interpretasi kami. HASIL (kesepakatan dengan pengelola, dari 517) - Jev (dibeli, tidak pernah melihat proyek ini): 395 (76,4%). Pencocokan kata kunci: 243 (47,0%). - Model keputusan tim vLLM, berdasarkan permintaan Jev, tanpa pelatihan di sini: d3-edge 297 (57,4%), d3-lite 328 (63,4%), d3-nano 363 (70,2%). - Qwen3-8B diminta: 345 (66,7%); pembaca pada lapisan terakhirnya: 393 (76,0%). - Penghitungan kata, pembaca yang sama, label yang sama: 341 (66,0%). - OLMoE bertanya: 135 (26,1%); ia menyebutkan bug sebanyak 287 kali. Routernya saja: 363 (70,2%); lapisan terakhirnya 374 (72,3%). Router lapisan pertama saja: 298; dari lima lapisan pertama dari 16 lapisan: 368; dari sana antara 362 dan 375. - DeepSeek-V2-Lite bertanya: 141 (27,3%). Routernya saja: 367 (71,0%); lapisan terakhirnya 365 (70,6%). Router lapisan pertama saja: 288; dari 13 lapisan pertama dari 26 lapisan: 362. - Dengan label yang diacak, pembaca router menjadi acak: 116 (OLMoE) dan 103 (DeepSeek). 0:00 Router di pintu 0:25 Router di dalam 0:52 Perlombaan 1:14 Apa yang dibaca oleh model keputusan 1:45 Sejajar dengan yang dibeli 2:16 Model keputusan pintu itu sendiri 2:37 Perawat triase di setiap lantai 3:13 Model yang mengatakan bug 3:38 Log paging 4:16 Diputuskan oleh lantai lima 4:32 Rumah sakit kedua 4:59 Apa yang terjadi pada model perbatasan 5:36 Jawabannya 6:10 Pahami itu SUMBER - When to Reason: Semantic Router for vLLM (Wang et al., 2025): arxiv.org - vLLM Semantic Router (proyek): vllm-project/semantic-router - Blog vLLM, Semantic Router (2025-09-11): vllm.ai - Model keputusan d3 (Decision 3.0): huggingface.co - TypeSafe, Memperkenalkan Model System One dan Jev: typesafe.ai - OpenAI, kartu sistem GPT-5 (router di depan, dan rencana untuk melipatnya menjadi satu model): deploymentsafety.openai.com - Konfigurasi DeepSeek-V3 (61 lapisan, 256 pakar yang dirutekan, 8 per kata): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (Allen AI): huggingface.co - Tanda Tangan Perutean yang Dikondisikan Tugas dal... [it] I router MOE stanno sostituendo silenziosamente i modelli decisionali Abbiamo messo a confronto Jev, il modello decisionale a pagamento, con router gratuiti sugli stessi 517 problemi reali di GitHub con risposte note: i modelli decisionali d3 gratuiti del team vLLM e i router all'interno di due modelli open source di tipo "mixed-of-experts" (OLMoE e DeepSeek-V2-Lite), letti da un piccolo lettore, con codice sorgente come base. Cosa succederebbe se il primo modello decisionale non fosse Jev, ma un router? Un anno prima di Jev, il Semantic Router di vLLM ha posizionato un piccolo classificatore davanti ai modelli open source che decide, per ogni richiesta, se necessita di un ragionamento passo passo; ora il suo team offre gratuitamente modelli decisionali che funzionano come Jev, e la maggior parte dei grandi modelli open source include anche dei router. Jev è ancora in testa con 76 vittorie su 100; I router liberi raggiungono quota 70. LO SCRIPT E OGNI RISULTATO, PROBLEMA PER PROBLEMA: github.com/PiPercentHuman/PiPercentHiman_Shareabl… Altro da questo canale: PiPercentHuman/PiPercentHiman_Shareables COSA È STATO TESTATO 517 problemi dal repository ollama/ollama, ciascuno etichettato da un manutentore come bug, funzionalità, domanda, documentazione o richiesta di modello (bug 120, documentazione 37, funzionalità 120, richiesta di modello 120, domanda 120). Modelli: Qwen3-8B e OLMoE-1B-7B-0125-Instruct caricati in 4 bit; DeepSeek-V2-Lite-Chat in bf16, eseguito un layer alla volta. OLMoE ha 16 livelli di esperti con 64 esperti ciascuno, di cui 8 selezionati per ogni parola; DeepSeek-V2-Lite ne ha 26 su 64, di cui 6 selezionati e 2 sempre attivi. "Asked" è la probabilità che un modello attribuisce a ciascuna lettera della risposta. "Last layer" e "router" sono un lettore di regressione logistica addestrato su quattro quinti dei problemi e testato sul quinto che non ha mai visto, per cinque volte. Il lettore router vede solo quante volte ciascun esperto è stato selezionato su ogni livello. Questi lettori apprendono dalle etichette di questo progetto, che Jev non ha mai visto, quindi il loro valido concorrente è il conteggio delle parole con le stesse etichette e lo stesso lettore. d3-edge (0,6B), d3-lite (0,9B) e d3-nano (2B) hanno ricevuto esattamente la stessa richiesta data a Jev (lo stesso testo del problema, la stessa domanda e cinque risposte) senza alcun addestramento su questi problemi; i modelli d3 più grandi non sono stati eseguiti. Jev e la corrispondenza delle parole chiave sono i record registrati sugli stessi problemi il 28/09/2026. Un lavoro, una singola esecuzione per ogni lettura. L'ospedale nel video è un'analogia, e il suo significato per i modelli di frontiera è oggetto della nostra interpretazione. RISULTATI (accordo con i manutentori, su 517) - Jev (acquistato, non ha mai visto questo progetto): 395 (76,4%). Corrispondenza delle parole chiave: 243 (47,0%). - Modelli decisionali del team vLLM, richiesti da Jev, nessun training qui: d3-edge 297 (57,4%), d3-lite 328 (63,4%), d3-nano 363 (70,2%). - Qwen3-8B richiesto: 345 (66,7%); un lettore sul suo ultimo strato: 393 (76,0%). - Conteggio parole, stesso lettore, stesse etichette: 341 (66,0%). - OLMoE ha richiesto: 135 (26,1%); ha indicato "bug" 287 volte. Il suo router da solo: 363 (70,2%); il suo ultimo strato 374 (72,3%). Il router del solo primo strato: 298; dei primi cinque su 16: 368; da lì in poi tra 362 e 375. - DeepSeek-V2-Lite ha richiesto: 141 (27,3%). Il suo router da solo: 367 (71,0%); il suo ultimo strato 365 (70,6%). Il router del solo primo strato: 288; dei primi 13 su 26: 362. - Con le etichette mescolate, i lettori del router sono casuali: 116 (OLMoE) e 103 (DeepSeek). 0:00 Il router alla porta 0:25 I router all'interno 0:52 La corsa 1:14 Cosa legge un modello decisionale 1:45 Allo stesso livello di quello acquistato 2:16 I modelli decisionali della porta stessa 2:37 Un'infermiera di triage su ogni piano 3:13 Il modello che segnala un bug 3:38 Il registro delle chiamate 4:16 Decisione presa al quinto piano 4:32 Un secondo ospedale 4:59 Cosa succede al modello di frontiera 5:36 La risposta 6:10 Capito? FONTI - When to Reason: Semantic Router for vLLM (Wang et al., 2025): arxiv.org - vLLM Semantic Router (il progetto): vllm-project/semantic-router - Blog di vLLM, Semantic Router (11/09/2025): vllm.ai - I modelli decisionali d3 (Decision 3.0): huggingface.co - TypeSafe, Presentazione dei modelli System One e Jev: typesafe.ai - OpenAI, scheda di sistema GPT-5 (il router in primo piano e il piano per integrarlo in un unico modello): deploymentsafety.openai.com - Configurazione di DeepSeek-V3 (61 layer, 256 esperti instradati, 8 per parola): huggingface.co - DeepSeek-V2-Lite-Chat: Italiano: huggingface.co... [iw] נתבי MOE מחליפים בשקט את מודלי ההחלטות התחרינו בין Jev, מודל ההחלטה שאתם משלמים עבורו, לנתבים חינמיים על אותן 517 בעיות אמיתיות ב-GitHub עם תשובות ידועות: מודלי ההחלטה d3 החינמיים של צוות vLLM, והנתבים בתוך שני מודלים פתוחים של תערובת מומחים (OLMoE ו-DeepSeek-V2-Lite), שנקראו על ידי קורא קטן, עם קוד רגיל כבסיס. מה אם מודל ההחלטה הראשון לא היה Jev בכלל, אלא נתב? שנה לפני Jev, הנתב הסמנטי של vLLM הציב מסווג קטן לפני מודלים פתוחים שמחליט, עבור כל בקשה, האם היא זקוקה להיגיון שלב אחר שלב; כעת הצוות שלו נותן מודלי החלטה שעובדים כמו ש-Jev עובד, ולרוב המודלים הפתוחים הגדולים יש גם נתבים בתוכם. Jev עדיין מוביל עם 76 מתוך מאה; הנתבים החינמיים מגיעים ל-70. הסקריפט וכל קריאה, גיליון אחר גיליון: github.com/PiPercentHuman/PiPercentHiman_Shareabl… עוד מערוץ זה: PiPercentHuman/PiPercentHiman_Shareables מה נבדק 517 בעיות ממאגר ollama/ollama, כל אחת מהן מתויגת על ידי מתחזק כבאג, תכונה, שאלה, מסמך או בקשת מודל (באג 120, מסמך 37, תכונה 120, model_request 120, שאלה 120). מודלים: Qwen3-8B ו-OLMoE-1B-7B-0125-Instruct נטענו ב-4 סיביות; DeepSeek-V2-Lite-Chat ב-bf16, פועל שכבה אחת בכל פעם. ל-OLMoE יש 16 שכבות מומחים של 64 מומחים עם 8 שנבחרו לכל מילה; ל-DeepSeek-V2-Lite יש 26 מתוך 64, כאשר 6 נבחרו ו-2 תמיד דולקים. "נשאל" הוא ההסתברות שמודל שם על האות של כל תשובה. "שכבה אחרונה" ו"נתב" הם קורא רגרסיה לוגיסטית המותאם לארבע חמישיות מהבעיות ונבדק על החמישית שמעולם לא ראתה, חמש פעמים. קורא הנתב רואה רק באיזו תדירות כל מומחה נבחר בכל שכבה. קוראים אלה לומדים מהתוויות של הפרויקט הזה, אותן ג'ב מעולם לא ראה, כך שיריבם ההוגן הוא ספירת מילים עם אותן תוויות ואותו קורא. d3-edge (0.6B), d3-lite (0.9B) ו-d3-nano (2B) קיבלו בדיוק את הבקשה שניתנה לג'ב (אותו טקסט בעיה, אותה שאלה וחמש תשובות) ללא אימון בנושאים אלה; מודלי d3 הגדולים יותר לא הופעלו. Jev והתאמת מילות מפתח הם הרישומים שבוצעו באותן נושאים ב-28-09-2026. משימה אחת, הפעלה אחת של כל קריאה. בית החולים בסרטון הוא אנלוגיה, והמשמעות של זה עבור מודלים בחזית היא הקריאה שלנו. תוצאות (הסכמה עם המתחזקים, מתוך 517) - ג'ב (קנה, מעולם לא ראה את הפרויקט הזה): 395 (76.4%). התאמת מילות מפתח: 243 (47.0%). - מודלי ההחלטה של ​​צוות vLLM, נשאלו על פי בקשתו של ג'ב, אין כאן אימון: d3-edge 297 (57.4%), d3-lite 328 (63.4%), d3-nano 363 (70.2%). - Qwen3-8B שאל: 345 (66.7%); קורא בשכבה האחרונה שלו: 393 (76.0%). - ספירת מילים, אותו קורא, אותן תוויות: 341 (66.0%). - OLMoE שאל: 135 (26.1%); הוא אמר באג 287 פעמים. הנתב שלו לבדו: 363 (70.2%); השכבה האחרונה שלו 374 (72.3%). הנתב של השכבה הראשונה בלבד: 298; מתוך חמשת הראשונים מתוך 16: 368; משם בין 362 ל-375. - DeepSeek-V2-Lite שאל: 141 (27.3%). הנתב שלו לבדו: 367 (71.0%); השכבה האחרונה שלו 365 (70.6%). הנתב של השכבה הראשונה בלבד: 288; מתוך 13 הראשונים מתוך 26: 362. - לאחר ערבוב התוויות, קוראי הנתב נופלים למקרה: 116 (OLMoE) ו-103 (DeepSeek). 0:00 הנתב בדלת 0:25 הנתבים בפנים 0:52 המירוץ 1:14 מה מודל החלטה קורא 1:45 ברמה של זה שנקנה 2:16 מודלי ההחלטה של ​​הדלת עצמה 2:37 אחות טריאז' בכל קומה 3:13 המודל שאומר באג 3:38 יומן ההחלטה 4:16 הוחלט על ידי הקומה החמישית 4:32 בית חולים שני 4:59 מה קורה למודל הגבול 5:36 התשובה 6:10 קבל את זה מקורות - מתי להסיק: נתב סמנטי עבור vLLM (Wang et al., 2025): arxiv.org - נתב סמנטי vLLM (הפרויקט): vllm-project/semantic-router - בלוג vLLM, נתב סמנטי (2025-09-11): vllm.ai - מודלי ההחלטה d3 (החלטה 3.0): huggingface.co - TypeSafe, הצגת מודלי System One ו-Jev: typesafe.ai - OpenAI, כרטיס מערכת GPT-5 (הנתב מלפנים, והתוכנית לשלב אותו למודל אחד): deploymentsafety.openai.com - תצורת DeepSeek-V3 (61 שכבות, 256 מומחים מנותבים, 8 לכל מילה): huggingface.co - DeepSeek-V2-Lite-Chat: huggingface.co - OLMoE-1B-7B (Allen AI): huggingface.co - חתימות ניתוב מותנות משימה בשנאים דלילים של תערובת מומחים (2026): arxiv.org ערוץ זה אינו מזוהה עם אף אחת מהחברות הנזכרות. #Jev #DecisionModel #LocalLLM [ja] 意思決定モデルを密かに置き換えるMoEルーター 有料の決定モデルである Jev を、既知の回答がある 517 件の実際の G​​itHub 問題で無料のルーターと比較しました。比較対象は、vLLM チームの無料の d3 決定モデルと、2 つのオープンな専門家混合モデル (OLMoE と DeepSeek-V2-Lite) 内のルーターで、小さなリーダーで読み込まれ、プレーン コードがベースラインとなっています。最初の決定モデルが Jev ではなくルーターだったらどうでしょうか? Jev の 1 年前、vLLM の Semantic Router は、オープン モデルの前に小さな分類器を配置し、リクエストごとに段階的な推論が必要かどうかを判断します。現在、vLLM チームは Jev と同じように機能する決定モデルを無料で提供しており、ほとんどの大規模なオープン モデルにもルーターが内蔵されています。Jev は依然として 100 件中 76 件でリードしています。フリールーターは70に到達しました。 スクリプトと各イシューごとの出力結果：github.com/PiPercentHuman/PiPercentHiman_Shareabl… このチャンネルのその他のコンテンツ：PiPercentHuman/PiPercentHiman_Shareables テスト内容 ollama/ollamaリポジトリから517件のイシューを抽出。各イシューはメンテナーによってバグ、機能、質問、ドキュメント、モデルリクエストのいずれかに分類されています（バグ120件、ドキュメント37件、機能120件、モデルリクエスト120件、質問120件）。モデル：Qwen3-8BとOLMoE-1B-7B-0125-Instructを4ビットでロード。DeepSeek-V2-Lite-Chatをbf16でロードし、レイヤーごとに実行。 OLMoE には 64 人のエキスパートからなる 16 層があり、各単語に対して 8 人のエキスパートが選択されています。DeepSeek-V2-Lite には 64 人のうち 26 層があり、6 人のエキスパートが選択され、2 人のエキスパートが常にオンになっています。「Asked」は、モデルが各回答の文字に付ける確率です。「Last layer」と「router」は、問題の 5 分の 4 で適合され、見たことのない 5 分の 1 で 5 回テストされたロジスティック回帰リーダーです。ルーター リーダーは、各レイヤーで各エキスパートが選択された頻度のみを確認します。これらのリー

โมเดลที่ไม่เขียนข้อความ: d3-turbo 27B กำลังเปลี่ยนกติกา AI หรือแค่สงครามตัวเลข? โมเดลที่ไม่เขียนข้อความ: d3-turbo 27B กำลังเปลี่ยนกติกา AI หรือแค่สงครามตัวเลข? โดย Nokka (นก-กา) | นักเขียนอิสระสาย AI และระบบเปิด | ตรวจสอบข้อมูล ณ 20 ต.ค. 2026 บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา) โมเดลที่ไม่มีคำตอบเป็นประโยค วันที่ 19 ตุลาคม 2026 ทีม vLLM Semantic Router ปล่อยโมเดลชื่อ d3-turbo บน Hugging Face [1] โมเดลนี้มี 26,090 ล้านพารามิเตอร์ รวมตัวเข้ารหัสภาพอีก 460 ล้าน และใช้สัญญาอนุญาต Apache 2.0 ถ้าคุณโหลดมันขึ้นมาแล้วพิมพ์คำถาม จะไม่มีข้อความตอบกลับมา คำตอบที่ได้มีเพียง ความน่าจะเป็น ของตัวเลือกที่คุณกำหนดไว้ล่วงหน้า ยกตัวอย่าง ถ้าส่งข้อความลูกค้าว่า "ยอดใบแจ้งหนี้ผิดหลังเปลี่ยนแพ็กเกจ" แล้วถามสองคำถามพร้อมกันว่าเรื่องนี้ควรไปทีมไหน และลูกค้าเร่งด่วนไหม คำตอบที่ได้มีเพียงชุดความน่าจะเป็นสำหรับแต่ละตัวเลือก ไม่ใช่ประโยคอธิบาย ผมคิดว่านี่คือจุดที่น่าสนใจของวงการตอนนี้ เพราะมันคือการยอมรับว่างานจำนวนมากในระบบเอเจนต์ไม่ต้องการการเขียนข้อความเลย โรงงานเบื้องหลังคือ router ชื่อ vllm-sr ย่อจาก vLLM Semantic Router ซึ่งเป็นโปรเจกต์ของชุมชน vLLM บน GitHub repo vllm-project/semantic-router มีดาว 6,224 ดวง ถูก fork 1,060 ครั้ง เขียนด้วยภาษา Go และเปิดตัวครั้งแรกเมื่อ 26 ส.ค. 2025 [2] หน้าที่ของ router คือตัดสินใจว่าคำขอหนึ่งควรไปโมเดลไหน หรือควรถูกจัดการแบบไหน งานแบบนี้เดิมทำด้วยการเรียก LLM ตัวใหญ่แล้วอ่านคำตอบ แต่การเรียก LLM เพื่อตอบคำถามใช่หรือไม่ใช่หนึ่งครั้ง เปลืองทั้งเวลาและเงินเกินความจำเป็น d3-turbo จึงย้ายงานตัดสินใจออกมาเป็นโมเดลแยก ที่ให้คำตอบแบบมีโครงสร้างและมีความน่าจะเป็นกำกับ ตัวเลขที่ทำให้ "ถามครั้งเดียว" มีความหมาย อ่านครั้งเดียว ตอบหลายคำถาม จุดขายของ d3-turbo ไม่ใช่ความแม่น แต่เป็นจำนวนครั้งที่มันอ่านข้อมูลเข้า โมเดลอ่านภาพหนึ่งครั้ง แล้วตอบทุกคำถามจากภาพนั้น คู่แข่งในตระกูลเดียวกันคือ d3-flash ซึ่งอ่านภาพใหม่ทุกคำถาม ผลวัดบนการ์ด AMD Instinct MI325X หนึ่งใบ ด้วย AutoModel ตัวเลขทั้งชุดเป็นค่ากลาง (p50) [1] - ถาม 1 คำถาม turbo 302 มิลลิวินาที flash 154 มิลลิวินาที - ถาม 4 คำถาม turbo 328 มิลลิวินาที flash 541 มิลลิวินาที - ถาม 16 คำถาม turbo 426 มิลลิวินาที flash 2.07 วินาที - ถาม 64 คำถาม turbo 867 มิลลิวินาที flash 8.26 วินาที - ถาม 128 คำถาม turbo 1.29 วินาที flash 16.50 วินาที - ถาม 255 คำถาม turbo 2.12 วินาที flash 32.94 วินาที จุดตัดอยู่ที่คำถามที่สี่ ตั้งแต่ข้อสี่เป็นต้นไปตัวใหญ่กว่าชนะ และที่ 255 คำถามมันเร็วกว่า 15.5 เท่า เหตุผลเชิงคณิตศาสตร์ตรงไปตรงมา การอ่านภาพจ่ายครั้งเดียว ส่วนการตอบเพิ่มขึ้นตามจำนวนคำถาม ถ้าให้ผมเดา คนส่วนใหญ่จะจำแค่ตัวเลข 15.5 เท่า แล้วเหมารวมว่ารุ่นใหญ่คุ้มกว่าในทุกกรณี แต่บรรทัดที่สำคัญกว่าคือบรรทัดแรก ที่บอกว่าถ้าถามคำถามเดียว d3-flash เร็วกว่าเท่าตัว ห้าประเภทคำถามที่โมเดลนี้ตอบได้ ผู้อ่านที่คิดว่ามันคือ classifier ธรรมดา ควรดูรายการนี้ก่อน - Choice เลือกหนึ่งตัวจากหลายตัวเลือกที่เรากำหนด - Yes / No ตอบว่าจริงหรือไม่จริง - Score ให้คะแนนตามมาตรที่เรากำหนด - Box ชี้ตำแหน่งของสิ่งหนึ่งในภาพ พร้อมความมั่นใจ - Track ตามวัตถุในวิดีโอต่อเนื่องทั้งคลิป สองประเภทหลังทำให้มันไม่ใช่ classifier ข้อความอีกต่อไป แต่อ่านภาพและวิดีโอได้ด้วย บริบทสูงสุดอยู่ที่ 131,072 โทเคนต่อหนึ่งคำถาม เมื่อเปิดโหมด long_context=True และค่าเริ่มต้นอยู่ที่ 32,768 จุดที่ผมชอบในเอกสารคือประโยคที่บอกว่า ถ้าคำถามยาวเกินขีดจำกัด ระบบจะตอบกลับด้วยข้อผิดพลาด max_length_exceeded และไม่ตัดข้อความทิ้ง การไม่ตัดข้อความเงียบ ๆ คือพฤติกรรมที่ระบบ production ควรมี และหลายบริการขนาดใหญ่ยังทำผิดข้อนี้ ตัวอย่างการเรียกที่หน้าโมเดลให้มา หน้าโมเดลมีโค้ดตัวอย่างสั้น ๆ ที่แสดงวิธีถามหลายคำถามจากการอ่านครั้งเดียว result = model.system_one( state="ผู้ใช้แจ้งว่ายอดใบแจ้งหนี้ผิดหลังเปลี่ยนแพ็กเกจ", questions={ "route": {"type": "choice", "instructions": "ทีมไหนควรรับเรื่องนี้", "criteria": {"billing": "การเงิน", "tech": "เทคนิค"}}, "urgent": {"type": "noul", "instructions": "ลูกค้าเร่งด่วนหรือไม่"}, }, ) ผลลัพธ์ที่ได้คือความน่าจะเป็นของแต่ละตัวเลือก ไม่ใช่ประโยคอธิบาย หมายเหตุ: noul คือชื่อชนิดคำถามแบบใช่หรือไม่ใช่ในสคีมาของโมเดล เดียวกับหัวข้อ Yes / No ด้านบน ดัชนีที่ให้ชุดปิดทักษะเดียวกันหนักครึ่งหนึ่ง ดัชนีนี้ชื่อ Jev Decision Index จัดอันดับงานก็อปแบบเปิดของโมเดล Jev และคณะผู้จัดทำเปิดวิธีคำนวณไว้ให้ตรวจได้ทั้งหมด [3] คะแนนเต็มมาจากสามส่วน - 20% จากชุดทดสอบสาธารณะ - 50% จากชุดทดสอบปิดที่วัดทักษะเดียวกัน - 30% จากชุดทดสอบปิดในโดเมนใหม่ เหตุผลที่ให้ชุดปิดทักษะเดียวกันหนักถึงครึ่งหนึ่งคือ ไม่มีใครเทรนบนชุดปิดได้ และอีกเกือบหนึ่งในสามให้กับโจทย์โดเมนใหม่ เพื่อดูว่าทักษะของโมเดลลากไปใช้ที่อื่นได้จริง หรือแค่เก่งในกระดานที่รู้กัน กฎอีกข้อที่ผมชอบคือ กลุ่มที่คะแนนห่างกันไม่เกิน 0.9 คะแนนจะได้อันดับเท่ากัน [3] ตัวเลข 0.9 นี้มาจากการคำนวณว่า ถ้าสุ่มคำถามประเภทเดียวกันมาอีกชุด ความต่างที่เกิดจากความบังเอิญจะอยู่ราวเท่านี้ 95% ของเวลา กฎนี้กันการอวดว่า "ชนะ 0.1 คะแนน" ซึ่งเป็นปัญหาใหญ่ของวงการ benchmark สงครามตัวเลขที่กระดานจริงไม่ตรงกับคำโฆษณา หน้ากระดานของดัชนีเปิดข้อมูลดิบให้ดาวน์โหลด ผมดึงไฟล์ index.json มาคำนวณเองเมื่อ 20 ต.ค. 2026 ไฟล์นั้นสร้างเมื่อ 16 ต.ค. 2026 มี 173 รายการที่ได้คะแนน และกระดานรุ่น 0.3.2 มี 174 แถว เมื่อนับแถวอ้างอิง Jev 1.14 [5] อันดับตามคะแนนเต็ม ซึ่งเป็นตัวเลขพาดหัวของกระดาน มีหน้าตาแบบนี้ - อันดับ 1 StartLux-Decision v1.1 27B ได้ 69.12 - อันดับ 2 vLLM-SR d3 รุ่นก่อนได้ 66.26 - Cloudflare clef ได้ 53.08 อยู่อันดับที่ 51 เมื่อนับรายแถว หรืออันดับกลุ่มที่ 12 ตามกฎ 0.9 - Cloudflare clef-flash ได้ 47.61 อยู่อันดับที่ 69 หรืออันดับกลุ่ม 17 จุดที่น่าสนใจอยู่ที่ clef ไม่ได้แย่ทุกด้าน คะแนนชุดสาธารณะของมันบนสเกลเดียวกับคะแนนเต็มคือ 61.71 ส่วน d3 ได้ 65.45 ซึ่งห่างกันไม่มาก แต่พอเติมชุดปิดเข้าไป คะแนนรวมของ clef ตกลงเหลือ 53.08 หายไป 8.63 คะแนน ทางฝั่ง d3 กลับขยับขึ้นจาก 65.45 เป็น 66.26 คือได้เพิ่ม 0.81 คะแนน ตัวเลขสองชุดนี้ต้องเทียบกันบนสเกลเดียวกันเสมอ ไม่ใช่เทียบคะแนนดิบกับคะแนนที่แปลงสเกลแล้ว ช่องว่างนี้คือสิ่งที่ดัชนีออกแบบมาให้จับได้ตรง ๆ โมเดลที่เก่งในข้อสอบที่คนเห็น แต่ตกลงเมื่อเจอข้อสอบที่ไม่มีใครเห็น บล็อกของ Cloudflare วันที่ 1 ต.ค. 2026 เขียนถ้อยว่า Clef is currently the leader when evaluated against the Jev Decision Index [4] ผมต้องพูดให้เป็นธรรมกับ Cloudflare ด้วย บล็อกนั้นเก่ากว่าข้อมูลกระดานชุดนี้ 15 วัน เราไม่มีภาพกระดาน ณ วันที่ 1 ต.ค. จึงบอกไม่ได้ว่าตอนนั้น clef นำจริงหรือไม่ แต่ข้อที่ยืนยันได้คือ คำว่า "ผู้นำ" มีวันหมดอายุ และผมคิดว่าคนอ่านมักจำประโยคนั้นไปใช้ต่ออีกหลายเดือน แล้ว d3-turbo อยู่ตรงไหน ประเด็นที่ผมอยากให้จำคือ d3-turbo ไม่มีอยู่ในกระดานชุดนี้เลย หน้าโมเดลของมันเขียนว่าได้ 70.2 คะแนน และในวงเล็บของตารางเขียนสั้น ๆ ว่า (our estimate) ส่วนอีกประโยคหนึ่งในหัวข้อ Highlights เขียนเต็มว่า Our estimate, not an official board result. [1] ถ้าตัวเลข 70.2 ผ่านการวัดจริง มันจะอยู่อันดับ 1 เหนือ StartLux ที่ 69.12 แต่วันนี้ยังไม่มีใครยืนยันตัวเลขนั้นนอกจากทีมที่สร้างมันเอง ฝั่งภาพมีอีกตัวเลขที่ควรพูดถึงตั้งแต่ต้น คือดัชนีฝั่งภาพ (vision board) ซึ่ง 72.9 เป็นการประมาณของทีมผู้พัฒนาเอง ไม่ได้อยู่บนกระดาน ส่วนผลบนกระดานภาพทางการคือ 71.3 ซึ่งเป็นคะแนนของ d3 รุ่นก่อน [7] ผมไม่ได้บอกว่าตัวเลขเหล่านี้ไม่จริง ผมบอกว่ามันยังคนละสถานะกับตัวเลขที่คณะกรรมการวัด มุมค้านที่ผมคิดว่าสำคัญที่สุด คำถามที่ไม่ได้ถูกถามบ่อยพอคือ ทำไมงานตัดสินใจง่าย ๆ ต้องใช้โมเดล 26,000 ล้านพารามิเตอร์ ทีมเดียวกันมีโมเดลเล็กกว่าอยู่ในตระกูล d3 ด้วย ตัวอย่างที่ตรวจได้คือ vllm-sr/d3-edge ซึ่งมี 594,321,600 พารามิเตอร์ หรือราว 0.6 พันล้าน เปิดตัว 10 ต.ค. 2026 [6] โมเดลนี้อยู่บนกระดานจริง ได้คะแนนเต็ม 20.24 และคะแนนสาธารณะหลังหักโอกาสเดา 28.82 ตัวเลขนั้นต่ำกว่า d3-turbo มาก แต่ก็ย้ำคำถามเดิม คือถ้าคุณต้องการแค่จัดหมวดหมู่ข้อความลูกค้า คุณไม่จำเป็นต้องใช้โมเดล 27B ขนาด 27B ใน d3-turbo มีเหตุผลรองรับ คือมันต้องอ่านภาพและวิดีโอ และต้องตอบหลายคำถามจากการอ่านครั้งเดียว แต่สำหรับทีมที่อยากได้แค่ router ข้อความ การรัน 27B คือการเผา GPU ทั้งใบเพื่อทำงานที่โมเดลเล็กกว่าทำได้ ผมยังไม่เห็นตัวเลขต้นทุนต่อคำขอในหน้าโมเดล มีแต่ตัวเลขเวลา และยังไม่เห็นการเปรียบเทียบกับทางเลือกที่ง่ายที่สุด คือเรียก LLM ตัวเล็กผ่าน prompt แล้วบังคับให้ตอบเป็น JSON ทางเลือกนั้นมีข้อเสียเรื่องความไม่แน่นอนของรูปแบบคำตอบ ซึ่งเป็นเหตุผลจริงที่คนหันมาหา decision model ในหน้าโมเดลของ d3-turbo ไม่มีตัวเลขต้นทุนต่อคำขอ [1] และในบล็อกของ Cloudflare ก็มีแต่ตัวเลขเวลากับตัวอย่างลูกค้า ไม่มีต้นทุนต่อการตัดสินใจหนึ่งครั้ง [4] สิ่งที่ผมตรวจและสิ่งที่ยังไม่ได้ตรวจ ผมไม่ได้ติดตั้งโมเดลนี้และไม่ได้รันบนเครื่องตัวเอง ผมอ่านหน้าโมเดล วิธีคำนวณของดัชนี บล็อกของ Cloudflare ข้อมูล repo จาก GitHub และไฟล์คะแนนดิบของกระดาน ผมตรวจเองได้เฉพาะขนาดพารามิเตอร์ จำนวนไฟล์ สัญญาอนุญาต จำนวนดาวของ repo โครงสร้างวิธีคำนวณของดัชนี และอันดับบนกระดานซึ่งผมคำนวณจากไฟล์ดิบ ส่วนที่ผมตรวจไม่ได้คือตัวเลขเวลาทั้งหกแถว ซึ่งวัดโดยผู้พัฒนาเองบนฮาร์ดแวร์ของเขา และตัวเลข 70.2 กับ 72.9 ของ d3-turbo ซึ่งยังไม่ปรากฏบนกระดาน ถ้าคุณจะใช้ตัวเลขเหล่านี้ตัดสินใจซื้อการ์ด ผมแนะนำให้รอผลกระดานทางการก่อน ข้อสังเกตสุดท้าย เรื่องที่น่าสนใจกว่าตัวเลขทั้งหมดคือการยอมรับของวงการว่า เอเจนต์ไม่จำเป็นต้องพูด เอเจนต์ที่ดีอาจต้องรู้จักแยกงานที่ต้องใช้ภาษา ออกจากงานที่ต้องการแค่คำตัดสินใจหนึ่งครั้ง และถ้าแยกได้ งานครึ่งหนึ่งของระบบจะเร็วขึ้นและถูกลงโดยไม่ต้องรอโมเดลรุ่นใหม่ แต่บทเรียนที่สำคัญกว่านั้นมาจากกระดานคะแนน เพราะสิ่งที่ผมเห็นในไฟล์ index.json คือสนามที่ทุกคนแย่งกันประกาศชัยชนะบนชุดข้อสอบที่คนเห็น และมีเพียงส่วนน้อยที่กล้าเปิดผลชุดที่คนไม่เห็น ถ้าคุณกำลังเลือกโมเดลสำหรับงานจริง ให้ดูช่องว่างระหว่างสองตัวเลขนั้น ไม่ใช่ดูอันดับ แหล่งอ้างอิง [1] vLLM Semantic Router Team, "d3-turbo: A Multimodal Decision Model that Reads Once", Hugging Face, 19 ต.ค. 2026. huggingface.co [2] vLLM Project, repo semantic-router, GitHub, เปิด 26 ส.ค. 2025 (เข้าถึง 20 ต.ค. 2026). vllm-project/semantic-router [3] "Methodology · Index 0.3.2", Jev Decision Index, ฉบับ 2026. multimodalart-jev-decision-index.static.hf.space [4] Michelle Chen, Alex Reneau และ Kevin Flansburg, "Introducing Clef: our open-source decision models, and new RL fine-tuning platform", Cloudflare Blog, 1 ต.ค. 2026. blog.cloudflare.com [5] Jev Decision Index, ไฟล์คะแนนดิบ index.json (สร้าง 16 ต.ค. 2026, 173 รายการที่มีคะแนน, กระดาน 0.3.2 มี 174 แถว), ดึงและคำนวณอันดับเองเมื่อ 20 ต.ค. 2026. multimodalart-jev-decision-index.static.hf.space [6] vLLM Semantic Router Team, "d3-edge", Hugging Face, 10 ต.ค. 2026. huggingface.co [7] Jev Decision Index, ไฟล์กระดานภาพ vision.json (สร้าง 16 ต.ค. 2026, 41 รายการ ไม่มีรายการ d3-turbo, vLLM-SR d3 (27B) คะแนนเต็ม 71.26), ดึงเมื่อ 20 ต.ค. 2026. multimodalart-jev-decision-index.static.hf.space

vLLM Semantic Router: An open, programmable decision layer for models and compute (6.2k stars) What it does All text below is quoted directly from the project README. >An open, programmable decision layer for models and compute. >Intelligence beyond any one model. >Give your agent harness one API for many models. vLLM Semantic Router selects or combines models for each call, guided by your policy. >Your harness keeps the agent loop, tools, and task state. The Router chooses among configured backends across local, private, and cloud compute. With vLLM SR: - Models: Different models excel at different tasks. Select or combine models. - Compute: Hardware varies in speed and capacity. Choose among configured backends. - Location: Edge, private, and cloud. Keep calls within approved locations. - Preference: Priorities change by task. Set quality, latency, and cost priorities. >Point your harness at the Router's inference endpoint. Use a public model ID such as vllm-sr/auto. >For questions, feedback, or to contribute, please join the #semantic-router channel in vLLM Slack. Repository vllm-project/semantic-router Repository stats |Metric|Value| |:-|:-| |Stars|6,151| |Forks|1.0k| |Last release|v0.4.0 (2026-09-27)| |Languages|Go 51.4%, Python 30.4%, TypeScript 11.9%| |Contributors|261| |AI contributor accounts (Claude / Codex / Cursor / Copilot)|claude (51 commits), cursoragent (41), Copilot (30)| |AI co-authored commits|Claude: 52, Cursor: 41, Copilot: 31| Main contributor |Field|Value| |:-|:-| |Name|Xunzhuo| |GitHub|@Xunzhuo| |Commits to this repo|697 (top contributor)| |Bio|Intelligent Routing @vllm-project | Open Source & AI @AMD| |X / Twitter|@XunzhuoLiu| |Followers|1.4k|

Happy to share that @vllm_project semantic router Decision Models are trending on @huggingface 🚀 Proud to be a part of core team member of this project Reference: huggingface.co Feel Free to contribute: vllm-project/semantic-router #openSource #vLLM t.co