HybridAgent

頭の中では言葉を使わないAIエージェント「HybridAgent」を Mac で動かしてみた !頭の中では言葉を使わないAIエージェント「HybridAgent」を Mac で動かしてみた はじめに：AIエージェントは「考えごと」まで全部書き出している ChatGPT や Claude に難しい質問をすると、答えの前に長い「考える過程」が流れることがあります。AIエージェントも同じで、検索や Python を呼ぶ前後に、「まずこれを調べて」「この結果からすると」と、考えたことを一語ずつ文字にしながら進みます。 人間に置きかえると、暗算の途中経過まで毎回ノートに書いてから次へ進むようなものです。読み返せる安心感はありますが、そのぶん時間もお金もかかります。 2026年10月13日に arXiv で公開された論文「Hybrid Reasoning Agents」（Stanford 大学・Together AI・UIUC・Meta）は、この習慣を見直しました。提案された HybridAgent は、頭の中の考えごとは文字にせずモデル内部の数値のまま進め、検索や Python の呼び出しなど外とのやりとりだけを文字で行います。論文では、同じ大きさの「文字だけ」のエージェントと比べて生成ステップを 35.5〜54.7% 減らし、推論を 1.8〜2.6 倍速くしたと報告しています。 まずは、何が変わるのかを図で見てください。上が今のエージェント、下が HybridAgent です。 !文字だけのエージェントは約2,300ステップをすべて文字で書くのに対し、HybridAgentは約1,100ステップで、そのうち思考の一部を潜在モード（水色）で進め、ツール呼び出しと結果は文字のまま扱う様子を順に強調するアニメーション 考えごとは「潜在モード」（水色）で語を選ばずに進め、ツールの呼び出しと結果だけを文字で扱う。8B モデルの平均で、生成ステップは約2,300から約1,100に減った（論文 Figure 6 をもとにした概念図）。 この記事では、HybridAgent の仕組みを専門用語をできるだけ使わずに解説し、論文の数字を「何と比べた値なのか」まで分けて読みます。さらに、公開されている 8B モデルを手元の Mac（Apple M5 Max）で実際に動かし、潜在モードの中身を読み出したり、潜在モードを禁止した場合と比べたりしました。 想定読者は、AI エージェントを使ったり作ったりしている人、論文の要約を見て「結局なにがすごいの？」と感じた人です。数式は出てきません。 この記事の確認範囲 | 項目 | 内容 | |---|---| | 論文 | arXiv:2610.18861 v1（2026-10-13 投稿、査読前、CC BY 4.0） | | 公式コード | github.com/togethercomputer/HybridAgent（MIT ライセンス、2026-10-25 時点のコミット 1b41ceb） | | 公開モデル | HybridAgent-8B-Agentic・14B-Agentic（MIT、土台は Qwen3-Base）。論文の 4B は未公開 | | 手元で動かしたもの | 8B モデルを Mac（M5 Max・メモリ128GB・macOS 26）の GPU（MPS）で実行。MATH500 の 30 問を、ハイブリッドと潜在モード禁止で交互に解かせて比較。検索ツールは使わず Python ツールのみ | | 手元で動かしていないもの | 学習（HybridSFT・HybridRL）、14B、論文のベンチマーク全体の再現 | 先に結論 - HybridAgent は、考えるときは潜在モード、動くときは文字モードを 1 回の生成の中で切り替える。切り替えの部品（HybridLink）は 8B で本体の約 0.4% と小さい - 論文の「トークン 35.5〜54.7% 削減」は、生成ステップの総数の減り方。文字トークンだけなら 2.2〜3.1 倍少ない - 「平均 10.4% 向上」は同じ大きさ・同じ学習量のエージェントとの比較。大型のフロンティアモデルには、道具を使う課題で勝ち、専門知識の課題（HLE）では大きく負けている - 手元の Mac では、公式の 8B モデルがそのまま動いた。MATH500 の 30 問で潜在モードを禁止した場合と比べると、正答は 25 問対 20 問、生成ステップは合計で 53% 減った。ただし減った分の多くは、潜在を禁止した側が上限まで止まらなかった 8 問によるもので、それを除くと 29% 減 - いまのところ、Claude や GPT の API で使える技術ではない。オープンな重みと専用の生成エンジンが必要 そもそも言語モデルはどうやって「考えて」いるのか HybridAgent の工夫を理解するには、普通の言語モデルが文字を書く仕組みを知っておくと近道です。 言語モデルは、文章を一度に書くのではなく、次の 1 語を選んでは、それを次の入力にすることをくり返しています。ここでいう「語」は、正確にはトークン（単語や単語の一部に当たる単位）です。 1 回のくり返しの中身は、次の図のようになっています。 !言語モデルの1ステップ。入力の埋め込みがTransformer本体を通って4,096個の数字の隠れ状態になり、LMヘッドが約15万語から1語を選び、その語が次の入力になる。最後に、語を選ばず隠れ状態をそのまま戻す潜在推論の経路を点線で示すアニメーション 本体が 1 回計算するたびに「隠れ状態」（4,096 個の数字）が出てくる。文字にするにはここから 1 語を選ぶ必要があり、選ばれなかった情報は捨てられる。 ポイントは 2 つあります。 1 つ目は、1 語 ＝ 本体の計算 1 回だということです。8B（80億パラメータ）のモデルなら、1 語書くたびに 80 億個の重みを使った計算が走ります。考える過程を長く書けば書くほど、時間と費用が比例して増えます。 2 つ目は、語を選ぶ瞬間に情報が細ることです。本体が出した隠れ状態には、「次は 343 と言いたい。でも 340 の可能性も少しある」のような豊かな情報が数値として詰まっています。ところが文字にするには、約 15 万語の中から 1 つを選ばなければなりません。選ばれなかった候補は、次のステップには渡りません。 この 2 つの弱点を避けようという研究が、潜在推論（latent reasoning）です。 2 つの流れ：文字の推論と潜在推論 潜在推論の代表例が、2024年に Meta などが発表した Coconut です。Coconut は、語を選ぶ段階を飛ばし、隠れ状態をそのまま次の入力に戻します。前の図のオレンジの点線がそれです。 「潜在」は、表に出てこない内部の数値で考える、という意味です。文字に変換しないので速く、選ばれなかった候補の情報も失いません。 ただし、潜在推論には大きな弱点が 2 つありました。 !文字の推論、潜在推論、HybridAgentの3つを、考える速さ・ツールを呼べるか・中身を人が読めるかの3項目で比べる表を、列ごとに強調するアニメーション 文字の推論は遅いが道具を使えて読める。潜在推論は速いが、道具を呼べず中身も読めない。HybridAgent は両方の長所を 1 つのモデルに入れようとした。 1 つ目は、道具を呼べないことです。検索エンジンや Python は文字しか受け取れません。数値の並びのまま考えているモデルには、「この検索をして」と頼む手段がありません。 2 つ目は、中身が読めないことです。AI の安全性の研究では、モデルが考えた過程を人間や別の AI が読んで、危ない行動を事前に見つける「思考の監視」が重視されています。数値の並びでは、それができません。 論文はこの状況を「エージェントとしてのやりとり」と「効率のよい内部の推論」が、それぞれ別の手段（文字と数値）を必要としてきた、と整理しています。HybridAgent は、この 2 つを 1 つのモデルの中でつなぐ試みです。 HybridAgent の仕組み 全体像：普通の LLM に小さな部品を 1 つ足しただけ HybridAgent の作りは意外なほど単純です。土台は普通の言語モデル（論文では Qwen3-Base）で、そこに HybridLink という小さな部品を 1 つ足しています。論文の全体図を見てみましょう。 !論文のFigure 1。左にHybridLink（線形変換・GELU・線形変換と残差接続）、右に文字モード・潜在モード・文字モードと切り替わりながら生成するHybridAgentの構造 論文 Figure 1（Zou et al., 2026, CC BY 4.0）。左が HybridLink、右が文字モード → 潜在モード → 文字モードと切り替わる生成の流れ。 右側を左から読むと、最初は文字モードで普通に語を書き、<latent> という特別な語を書いたところで潜在モードに入ります。潜在モードの間は、LM ヘッド（語を選ぶ部分）を使わず、隠れ状態 h を HybridLink に通して次の入力にします。</latent> で潜在モードを抜けると、また文字モードに戻ります。 ここからは、この仕組みを 3 つの部品に分けて見ていきます。 部品 1：HybridLink は「数値のくせ」を直す翻訳係 Coconut のように隠れ状態をそのまま入力に戻すと、何が困るのでしょうか。 言語モデルの中では、入力側の「語の埋め込み」（語を数値の並びにしたもの）と、出力側の「隠れ状態」は、どちらも 4,096 個の数字の並びです。形は同じですが、数値の分布、いわばくせが違います。くせの違うものを入力に入れると、モデルは戸惑い、文字モードとの行き来がうまくいきません。 そこで HybridLink は、隠れ状態を「語の埋め込みらしい数値」に直してから入力に戻します。 !HybridLinkの構造。隠れ状態hが正規化、線形変換W1、GELU、線形変換W2を通り、元のhと足し合わされて正規化され、次の入力eになる。右側に、必要な理由・残差の意味・大きさ・形を変えた比較（そのまま戻す71.4、2層残差なし85.8、2層＋残差88.2）を順に強調するアニメーション HybridLink は小さな 2 層のネットワーク。元の h を足し戻す「残差」のおかげで、意味はそのままにくせの違いだけを直せる。 注目したいのは残差接続（入力をそのまま出力に足す配線）です。h を足し戻すので、HybridLink がゼロから変換を覚える必要はなく、「くせの違い」だけを学べば済みます。論文の比較では、14B モデルの MATH500（数学の問題集）の正答率が、そのまま戻すと 71.4%、2 層で残差なしだと 85.8%、2 層＋残差（採用した形）だと 88.2% でした。 大きさも小さく、8B モデルでは約 3,360 万パラメータ、本体の約 0.4% です。公開されている重みファイル（adapter.pt）は 67MB しかありません。 なお、論文の式は「h ＋ 2 層の変換」ですが、公開コード（hybrid_agent/hybridlink.py）では前後に正規化（LayerNorm）が入っています。論文の説明は骨組みで、実装は安定させるための工夫を足した形だと読めます。 部品 2：入口と出口はモデル自身が決める 次に、文字モードと潜在モードをいつ切り替えるのかです。 !文字モードで<latent>を選ぶと潜在モードに入り、各ステップで隠れ状態に一番近い語が出口の印</latent>かを調べ、いいえならHybridLinkを通して次の入力へ、はいなら文字モードに戻ってPythonを呼ぶ流れを、入口・中身・出口・ツール呼び出しの順に強調するアニメーション 入口は普通の語として <latent> を選んだとき。出口は、潜在モードの各ステップで「いまの状態に一番近い語」が </latent> になったとき。 入口は簡単です。文字モードで次の語を選ぶとき、候補の中に <latent> という特別な語が入っていて、それが選ばれたら潜在モードに入ります。普通の語を選ぶのと同じ仕組みです。 出口は少し工夫されています。潜在モードでは語を選ばないので、「ここで出よう」と書く手段がありません。そこで、毎ステップ「いまの状態に一番近い語」を調べ、それが出口の印 </latent> になったら文字モードに戻ります。論文では HybridLink の出力に一番近い語の埋め込み（コサイン類似度）で判定すると説明しており、公開コードでは LM ヘッドが一番点数を付けた語で判定しています。どちらも「モデルが </latent> と言いたくなったら出る」という考え方は同じです。 公開コードの既定値では、潜在モードは最短 4 ステップ、最長 200 ステップです。それ以外は、どこで潜ってどれだけ考えるかを事前に決めていません。この「潜り方」は学習でモデル自身が身につけます。 道具を呼ぶときは、必ず文字モードです。<python>print(10000/343)</python> のように呼び出しを文字で書き、結果も <result>29.15…</result> のように文字で戻ってきます。ここが、潜在推論だけのモデルとの大きな違いです。 部品 3：作業記憶で「考えたこと」を次のターンへ持ち越す エージェントは、考える → 道具を呼ぶ → 結果を読む → また考える、と何ターンも進みます。ここで、潜在の思考ならではの問題が出てきます。 普通のエージェントは、ターンが変わるたびに「それまでの履歴（文字）」を入力し直します。ところが潜在の思考は数値の並びなので、文字に戻せません。文字の履歴だけでは、前のターンで考えたことが抜け落ちてしまいます。 HybridAgent は、この問題を作業記憶で解きました。 !普通のエージェントは文字の履歴を毎ターン入力し直すのに対し、HybridAgentは文字・潜在・ツール結果のKV（キーとバリュー）を同じメモ帳に順番に積み、2ターン目はその続きから生成する。最後にAPIとの相性・既存サーバー未対応・情報が欠けないの3点を示すアニメーション 文字・潜在の思考・ツール結果を区別せず、モデル内部のメモ（KV キャッシュ）に順番に積む。次のターンは文字に戻さずに、このメモの続きから生成する。 言語モデルは、読み込んだ各位置について「キーとバリュー」（KV）という中間結果を計算し、次の語を書くときに参照します。普段は「同じ計算をくり返さないための一時保存（キャッシュ）」として使われるものです。HybridAgent は、この KV をターンをまたいで捨てずに持ち続け、作業記憶として使います。潜在の思考も KV の形なら保存できるので、情報が欠けません。 これは実用面で大きな意味があります。 - API と相性が悪い：Claude や GPT の API のように「会話の履歴を文字で毎回送る」方式では、潜在の思考を送れません。サーバー側で KV を持ち続ける仕組みが要ります - 既存の推論サーバーは未対応：論文は、現在の推論エンジン（vLLM など）がこの「ターンをまたぐハイブリッド生成」に対応していないと明記しており、公式は独自の生成エンジンを用意しています - 長い作業ほどメモリを使う：文字の履歴を要約して縮める、といった普段の工夫がそのままでは使えません どうやって覚えさせたのか：3 段階の追加学習 HybridAgent は、モデルの作りをほとんど変えていないので、ゼロから学習し直す必要はありません。普通の LLM に、次の 3 段階の追加学習をします。 !練習用データづくり（5.4万本、LLMの判定とモデルの迷いにくさで文字と潜在に振り分け、見える文字だけで追えるか点検）、HybridSFT（印の出し方、HybridLinkだけの学習、自分の潜在で学習）、HybridRL（数学1.2万問と検索1千問、報酬は正解・形式・ツール利用で潜在の使用には報酬なし）の3段階を順に強調するアニメーション 人手のラベル付けなしで練習用データを作り、教師あり学習（HybridSFT）で切り替えを安定させ、強化学習（HybridRL）で「いつ潜るか」を磨く。 ① 練習用データを作る：既存の「文字だけの解答例」を 5.4 万本集め、手順ごとに「文字で書く部分」と「潜在にする部分」を自動で振り分けます。判断材料は、外部の LLM の判定と、土台のモデル自身のエントロピー（次の語をどれだけ迷うか）です。迷わず書ける手順は潜在へ、要点や道具の呼び出しは文字へ回します。最後に別の LLM が「見えている文字だけで流れを追えるか」を点検し、大事な情報が隠れていたら文字に戻します。 ② HybridSFT（教師あり学習）：まず <latent> を書くタイミングを覚え、次に本体を固定して HybridLink だけをなじませます。最後が肝心で、自分の HybridLink が作った潜在を読んで続きを書く練習をします。正解データの埋め込みだけで練習すると、本番で自分の作った少しずれた潜在を読んだときに崩れるからです。論文では、この「自己条件付け」を足すと数学 3 種の正答率が平均 30.5% 上がり、文字だけの学習と同じ水準に追いつきました。 ③ HybridRL（強化学習）：実際に問題を解かせ、正解したかどうかで学習します。報酬は「正解」「形式を守る」「道具を使う」の 3 つで、潜在モードを使うことへの報酬はありません。それでも学習が進むと、14B モデルは文字のトークンを減らして約 499 に、潜在のステップを増やして約 276 にしていきました。「どこを潜在にすれば正解しやすいか」を、モデルが自分で見つけたことになります。 技術的には、潜在の位置には「この語を選ぶ確率」がないため、普通の強化学習（GRPO など）をそのまま当てはめられません。論文は、文字の位置だけで学習すれば十分なことを示し、潜在の値は生成時に記録したものをそのまま再生して計算し直す方法で解決しています。 論文の結果を読む 軽さ：ステップが半分前後、時間は約半分 まず、どれだけ軽くなったかです。比べる相手は、同じ土台・同じ学習量で育てた「文字だけ」のエージェントです。 !生成ステップ（4B 1.9k→1.2k、8B 2.3k→1.1k、14B 2.2k→0.9k）、1問あたりの時間（134秒→63秒）、100万問あたりの計算費用（4B 359ドル→98ドル、8B 439ドル→121ドル、14B 470ドル→176ドル）を順に強調する棒グラフのアニメーション 論文の要約にある「トークン 35.5〜54.7% 削減」は、生成ステップ（文字トークン＋潜在ステップ）の減り方のこと。 ここで誤解しやすい点が 2 つあります。 1 つ目は、潜在の 1 ステップも、文字の 1 語と同じく本体の計算 1 回ぶんかかることです。潜在モードは「1 ステップが軽い」わけではありません。速くなるのは、ステップの総数が減るからです。8B では 2,300 ステップが 1,100 ステップになり、そのうち 37% が潜在でした。潜在の 1 ステップが、文字の数ステップ分の考えごとを受け持っている計算になります。 2 つ目は、費用の試算（Table 9）が「生成の計算量」だけを数えている点です。最初に質問を読み込む計算、文脈が長くなることによる計算、道具の実行時間は含まれていません。実際のサービスでの費用削減は、これより小さくなる可能性があります。 賢さ：同じ大きさ同士では全勝、大型モデルとは一長一短 軽くなっても、賢さが落ちては意味がありません。論文は数学・科学・医療・検索・エージェント課題の 11 種類のテストで評価しています。 数学と知識の課題（Table 2）では、8B の HybridAgent が MATH500 で 84.6%（文字だけの GRPO は 82.0%、ARPO は 82.8%）、AIME26 で 43.3%（同 39.4%、41.5%）と、同じ大きさの文字エージェントをすべての項目で上回りました。 エージェント系の課題（Table 1）は、比べる相手によって見え方が変わります。 !GAIA、WebWalker、HLE、DeepSearchQAの4つで、HybridAgent 14B、同じ14Bの文字エージェント、フロンティアモデルの最高を比べる棒グラフ。HybridAgentは同じ大きさには全勝、GAIAとWebWalkerでは大型モデルも上回るが、HLEとDeepSearchQAでは下回ることを順に強調するアニメーション 14B の HybridAgent は、同じ大きさの文字エージェントには 4 つすべてで勝つ。大型モデルには、道具を使う課題で勝ち、知識の課題で負ける。 要約で紹介されることの多い「平均 10.4% 向上」は、論文本文では同じ大きさ・同じ学習量のエージェントとの比較（強化学習の段階）として説明されています。大型のフロンティアモデル（GPT-5.6-Luna、Kimi-K3 など）と比べると、GAIA（調べものと道具の組み合わせ）や WebWalker（サイトの奥まで探す）では上回る一方、HLE（専門家レベルの知識問題）は Kimi-K3 の 31.4% に対して 16.0% と約半分でした。知識の量そのものは、モデルの大きさがものを言うということでしょう。 また、フロンティアモデルの数字は、著者が用意した道具・回数の上限など、論文の実験条件で測った値です。各社が公式に出している数字とは条件が違うので、そのまま並べないよう注意してください。 本当に潜在の思考を使っているのか 「潜在モードは、実は何もしていない飾りでは？」という疑問にも、論文は実験で答えています。8B と 14B の潜在ベクトルにわざと手を加え、MATH500 の正答率がどう変わるかを調べました。 !潜在ベクトルへの介入とMATH500正答率の棒グラフ。介入なし84.6%、一番近い語に置き換え82.6%、潜在モード禁止80.4%、順番入れ替え73.2%、1ステップで打ち切り72.2%、強いノイズ66.4%、平均的な潜在に置き換え53.6%、別の問題の潜在に差し替え44.8%、ランダムな語に置き換え41.2%を順に強調するアニメーション 別の問題の潜在に差し替えると、強いノイズを足すより大きく落ちる。効いているのは数値の大きさではなく、中身の意味。 この結果から、3 つのことが読み取れます。 - 中身の意味が効いている：強いノイズ（元のベクトルから 2.0 倍ぶん動かす）より、別の問題の潜在に差し替える（1.4 倍ぶん）ほうが大きく落ちます - 順番と長さも効いている：順番を入れ替える、1 ステップで打ち切ると、どちらも 10 ポイント以上落ちます - 潜在の思考は語の近くを通っている：一番近い語の埋め込みに置き換えても 2 ポイントしか落ちません。これが、次に紹介する「中身を読み出せる」性質の裏付けになっています 潜在モードを禁止して文字だけで考えさせると 80.4% で、切り替えて使ったほうが正答率も高い結果でした。 外から監視できるのか 思考の一部が潜在になると、外から見える文字は減ります。それで監視ができるのかを、論文は数学 560 問で調べています（Table 7）。 | 指標 | HybridAgent 8B | 文字だけ 8B | HybridAgent 14B | 文字だけ 14B | |---|---|---|---|---| | 見える文字（1問あたり） | 302 トークン | 596 トークン | 284 トークン | 497 トークン | | 潜在のステップ（1問あたり） | 170 | – | 183 | – | | 弱い監視役が正誤を当てる精度（AUROC） | 0.840 | 0.772 | 0.860 | 0.818 | | 強い監視役の精度（AUROC） | 0.961 | 0.935 | 0.989 | 0.990 | | 失敗した解答で最初の誤りを特定できた割合 | 99.2% | 94.2% | 98.1% | 100.0% | 見える文字は半分近くに減りましたが、監視役（GPT-4o-mini や GPT-5.6-Luna）が正誤を当てる精度はほぼ同じか高めでした。HybridAgent は要点だけを文字で書くので、100 トークンあたりの「大事な手順」の数がかえって 26〜28% 増えているのが理由だと、論文は説明しています。 ただし、これは「見える文字だけで監視できるか」の実験で、潜在部分に何かが隠れていないことの証明ではありません。この点は後の「限界」で触れます。 Mac で動かしてみた ここからは手元の実験です。公開されている HybridAgent-8B-Agentic を、Mac の GPU（Apple Silicon の MPS）で動かしました。 環境 | 項目 | 内容 | |---|---| | マシン | Apple M5 Max、メモリ 128GB、macOS 26 | | Python | 3.12（uv で仮想環境） | | 主なライブラリ | torch 2.11.0、transformers 5.13.0（公式 requirements.txt と同じ版） | | モデル | togethercomputer/HybridAgent-8B-Agentic（bf16、約 16.4GB） | | ツール | Python のみ（サンドボックス内で実行）。検索ツール（Tavily）は使わず「結果なし」を返す代役 | | 生成設定 | 公式の既定値（温度 0.6、top-p 0.95、top-k 20、最大 4,096 ステップ、道具は 5 回まで） | 公式の README は CUDA（NVIDIA の GPU）向けの手順ですが、コードの中身は PyTorch と transformers だけで書かれており、Mac でも少しの変更で動きました。 手順 1：コードとモデルを用意する # 作業フォルダを作って公式コードを取得する mkdir -p ~/hybridagent-lab && cd ~/hybridagent-lab git clone https://github.com/togethercomputer/HybridAgent.git # Python 3.12 の仮想環境を作り、公式と同じ版のライブラリを入れる uv venv --python 3.12 .venv uv pip install --python .venv/bin/python torch==2.11.0 transformers==5.13.0 accelerate==1.14.0 \ safetensors==0.8.0 tokenizers==0.22.2 huggingface-hub==1.22.0 numpy pandas pyarrow \ math-verify==0.9.0 python-dotenv tqdm tavily-python datasets uv pip install --python .venv/bin/python --no-deps -e HybridAgent # 8B モデル（約 16.4GB）をダウンロードする .venv/bin/hf download togethercomputer/HybridAgent-8B-Agentic --local-dir models/HybridAgent-8B-Agentic ダウンロードが途中で極端に遅くなったときは、hf download を止めて curl -C - で続きから取り直すと速くなりました（後述のトラブルシューティング参照）。 手順 2：モデルが書いた Python をサンドボックスに閉じ込める HybridAgent は、問題を解く途中で Python のコードを書いて実行します。公式の Python ツールには時間とメモリの制限がありますが、コードの注釈にも「セキュリティのサンドボックスではない」と書かれており、生成されたコードはあなたの権限でファイルにもネットにも触れます。 そこで macOS 標準の sandbox-exec を使い、ネットワークを遮断し、書き込みを作業用フォルダだけに絞りました。以下は mac/ フォルダに置く 2 つのファイルです（パスは自分の環境に合わせて書き換えてください）。 ; mac/python-sandbox.sb：モデルが書いた Python 用のサンドボックス設定 (version 1) (allow default) ; ネットワークに出さない (deny network*) ; 書き込みは作業用フォルダだけ (deny file-write*) (allow file-write* (subpath "/Users/<YOU>/hybridagent-lab/mac/pytmp") (literal "/dev/null") (regex #"^/dev/fd/")) ; ホームの中は Python 本体と作業用フォルダ以外の中身を読ませない (deny file-read-data (subpath "/Users/<YOU>")) (allow file-read-data (literal "/Users/<YOU>") (subpath "/Users/<YOU>/hybridagent-lab/.venv") (subpath "/Users/<YOU>/.local/share/uv") (subpath "/Users/<YOU>/hybridagent-lab/mac/pytmp")) #!/bin/sh # mac/sbpython：サンドボックスの中で仮想環境の Python を動かす cd "/Users/<YOU>/hybridagent-lab/mac/pytmp" export TMPDIR="/Users/<YOU>/hybridagent-lab/mac/pytmp" HOME="/Users/<YOU>/hybridagent-lab/mac/pytmp" PYTHONDONTWRITEBYTECODE=1 exec /usr/bin/sandbox-exec -f "/Users/<YOU>/hybridagent-lab/mac/python-sandbox.sb" \ "/Users/<YOU>/hybridagent-lab/.venv/bin/python" "$@" # 動作確認：計算はできるが、ホームへの書き込み・設定ファイルの読み取り・通信はできない mkdir -p mac/pytmp && chmod +x mac/sbpython mac/sbpython -c "import math; print(math.factorial(10))" # 3628800 mac/sbpython -c "open('/Users/<YOU>/Desktop/x.txt','w')" # PermissionError mac/sbpython -c "print(open('/Users/<YOU>/.zshrc').read())" # PermissionError mac/sbpython -c "import urllib.request as u; u.urlopen('https://example.com')" # URLError realpath が親フォルダの情報を読むため、file-read* をまるごと禁止すると Python が起動しません。中身の読み取り（file-read-data）だけを禁止するのがコツです。 手順 3：Mac 用の実行スクリプトを書く 公式の実行スクリプトは、GPU が CUDA でなければ CPU を選ぶ作りなので、Mac の GPU（MPS）を使う薄いスクリプトを用意しました。公式の生成エンジン（HybridGenerationEngine）をそのまま使い、次の 3 点だけを足しています。 - 装置に mps を指定し、乱数の生成器も MPS 上に作る - Python ツールをサンドボックス版に差し替え、検索ツールは「結果なし」を返す代役にする - 比較用に、<latent> を選べないようにして「潜在モード禁止（文字だけ）」でも動かせるようにする # mac/run_mac.py（抜粋）。全文は記事末尾の「付録」に掲載 class MacEngine(HybridGenerationEngine): """ステップごとの時間を入力の種類別に集計する。block_latent=True なら <latent> を出させない。""" def __init__(self, *args, block_latent: bool = False, **kwargs): super().__init__(*args, **kwargs) self.step_time = {"latent": 0.0, "text": 0.0, "feed": 0.0} self.step_count = {"latent": 0, "text": 0, "feed": 0} if block_latent: # 文字モードで <latent> を選べないようにする（潜在モード禁止） for key in self._blocked_masks: self._blocked_masks[key] = self._blocked_masks[key].clone() self._blocked_masks[key][self.latent_open_id] = True @torch.no_grad() def _lockstep_forward(self, inputs_embeds, real_rows): # このステップの入力が「潜在」「文字」「ツール結果」のどれかを記録して時間を測る mode = self.rows[0].mode kind = "latent" if mode == LATENT else "feed" if mode == FEED else "text" t0 = time.perf_counter() super()._lockstep_forward(inputs_embeds, real_rows) torch.mps.synchronize() # MPS は非同期なので、待ってから時間を測る self.step_time[kind] += time.perf_counter() - t0 self.step_count[kind] += 1 # 問題ファイル（1 行に {"id", "question", "answer"}）を、ハイブリッドと潜在モード禁止で交互に解く # 結果は results/math30-hybrid.jsonl と results/math30-text.jsonl に追記される（途中から再開できる） cd mac ../.venv/bin/python run_mac.py --model ../models/HybridAgent-8B-Agentic \ --questions math500_sample.jsonl --mode both --out results/math30 math500_sample.jsonl は、MATH500（HuggingFaceH4/MATH-500）から難易度 1〜5 を 6 問ずつ選んだファイルです。 結果 1：潜在モードの中身を読んでみる まずは公式の例題「100! の末尾に 0 はいくつ並ぶか」（答えは 24）を解かせました。ターミナルには、次のような 1 行が出ます。 [1/1] q4 hybrid ok=True pred='24' gold='24' text=430 latent=78 steps=508 py=1 t=27.9s end=eos 文字 430 トークン、潜在 78 ステップ、Python を 1 回呼んで、正解の 24 にたどり着きました。生成ステップのうち潜在は 15% です。 この記録を公式の可視化ツール（interpretable_latent_mode）で HTML にすると、潜在の思考が擬似テキストとして文字の思考の間に表示されます。次の画像は、手元で作った HTML を開いて撮ったものです。 !公式のInterpretable Latent ModeのHTMLレポート。質問「How many trailing zeros does 100! have?」の解答で、文字モードの思考（灰色）の間に、潜在区間1「But, in factorals, there are more more 2s than 5s…」と潜在区間2「Let me think.」が紫色の枠で表示されている実画面 手元の Mac で作った公式レポートの実画面（上部のみ）。紫の枠が潜在モードの区間で、中身は「一番近い語」を並べた擬似テキスト。 この擬似テキストがどう作られているのかを、図で確かめておきましょう。 !潜在区間の45本のベクトルを、1本ずつ約15万語の埋め込みと比べて一番近い語を選び、順に並べて擬似テキストにする流れ。つづりの崩れ（factorals、more more、triangle zero）を強調し、最後に前後の文字モードと話がつながっていることを示すアニメーション 潜在のベクトル 1 本ずつに「一番向きが近い語」を当てて並べたもの。つづりの崩れは混じるが、何を考えていたかはおおむね追える。 1 つ目の潜在区間（45 ステップ）は、「階乗では 2 より 5 のほうが少ないので、末尾の 0 の数は 5 の個数で決まるはずだ」と読めます。直前の文字モードで「末尾の 0 は 10 ＝ 2×5 から生まれる」と書き、直後に「5、25、125 で割っていく公式がある」と続けているので、話の流れとして自然です。 一方で、別の問題（1/(x−5) > 0 を解く）では、「分母が 0 になってはいけないので、x は 5 になれる」と、否定が抜けたように読める箇所もありました。直後の文字モードでは正しく x > 5 と進んでいるので、思考そのものが間違っていたというより、読み出しで語が落ちたと考えるのが自然です。擬似テキストはあくまで近似だと実感できる例でした。 結果 2：30 問で「ハイブリッド」と「潜在モード禁止」を比べる 次に、MATH500（数学の問題集）から難易度 1〜5 を 6 問ずつ選び、同じ問題・同じ乱数の種で「ハイブリッド」と「潜在モードを禁止した文字だけ」を解かせて比べました。潜在モードの禁止は、文字モードで <latent> を選べないようにするだけで、重みは同じです。論文の Table 5 にある「潜在モードの禁止」と同じ考え方です。 Mac の状態（発熱など）で 1 ステップの時間が変わるので、2 つの条件は 1 問ずつ交互に、順番も問題ごとに入れ替えて走らせました。時間は、スリープなどの待ち時間を含まない「本体の計算時間の合計」で比べています。 なお、条件は論文と同じではありません。公開されているのはエージェント課題向けに学習した版（HybridAgent-8B-Agentic）で、論文が数学の評価に使った数学向けの版は公開されていません。道具は Python だけで検索は使っておらず、道具を呼べる回数の上限も公式コードの既定値の 5 回（論文は 10 回）です。正答率を論文の表の数字とそのまま並べないでください。 !手元のMacで30問を比べた結果。正答率はハイブリッド25/30、潜在禁止20/30。1問あたりの平均ステップはハイブリッド850（文字610＋潜在240）対潜在禁止1,819。難易度別の平均ステップを順に強調するアニメーション 30 問の平均。潜在を禁止した側は、難しい問題ほど長く書き、上限の 4,096 ステップまで止まらないことがあった。 | 項目 | ハイブリッド | 潜在モード禁止（文字だけ） | |---|---|---| | 正解した問題 | 25 / 30 | 20 / 30 | | 1 問あたりの文字トークン（平均） | 610 | 1,819 | | 1 問あたりの潜在ステップ（平均） | 240 | 0 | | 1 問あたりの生成ステップ（平均／中央値） | 850 ／ 687 | 1,819 ／ 1,210 | | 上限（4,096 ステップ）まで止まらなかった問題 | 0 | 8 | | 本体の計算時間の合計 | 2,002 秒 | 5,217 秒 | 合計で見ると、生成ステップは 53% 減り、本体の計算時間は 2.6 分の 1 になりました。数字だけなら論文の 8B（−52%）とよく似ています。正解した問題もハイブリッドのほうが 5 問多く、論文の Table 5（潜在あり 84.6%、潜在禁止 80.4%）と同じ向きです。 ただし、中身を見ると 2 つの効果が混ざっていました。 1 つ目は、潜在を禁止した側が止まらなくなることです。30 問中 8 問で、文字だけの側が上限の 4,096 ステップまで書き続けて答えを出せませんでした。ハイブリッドでは 0 問です。この 8 問が合計の差の多くを占めています。出力の終わりを読むと、8 問すべてが同じ言葉のくり返しに陥っていました。5 問は「Hmm.」を数百回書き続け、2 問は正しい答えにたどり着いたのに「答えは〜」と書き続けて締めくくれず、1 問は自信のない推測をくり返していました。HybridAgent は「決まりきった考えごと（迷い・確認・言い直し）は潜在で」と学習しているので、潜在に入れない状態では、その部分がうまく書けずに空回りするのだと考えられます。論文が比べているのは、文字だけで学習した別のエージェントなので、この点は手元の比較ならではの注意点です。 2 つ目が、普通に解き終わった問題でのステップの減り方です。どちらかが上限まで止まらなかった問題を除いた 22 問では、平均 992 → 699 ステップで 29% 減（問題ごとの中央値は 24% 減）、本体の計算時間は約 1.4 倍速でした。ハイブリッドのほうが少なかったのは 22 問中 15 問で、短い問題ではかえって長くなることもあります。論文の −52% ほどではないものの、ステップは減る傾向でした。 難易度別に見ると、次のとおりです。 | 難易度 | 問題数 | ハイブリッドの平均ステップ | 潜在禁止の平均ステップ | |---|---|---|---| | 1 | 6 | 692（6/6 正解） | 1,269（5/6 正解） | | 2 | 6 | 702（5/6 正解） | 2,066（4/6 正解） | | 3 | 6 | 516（6/6 正解） | 824（6/6 正解） | | 4 | 6 | 872（5/6 正解） | 2,302（2/6 正解） | | 5 | 6 | 1,468（3/6 正解） | 2,636（3/6 正解） | 1 ステップの時間は、ハイブリッドの全問をまとめると潜在 77 ミリ秒、文字 75 ミリ秒で、ほぼ同じでした（最初の 1 問は冷えた状態で潜在 47.0・文字 48.2 ミリ秒）。潜在を禁止した側は 95 ミリ秒と少し遅く、これは文章が長くなるほど 1 ステップの計算が重くなるためです。ステップ数の差に加えてこの差も乗るので、計算時間の差はステップ数の差より大きくなりました。 潜在の割合は平均 27%（2%〜43%）で、論文の 8B の 37% よりやや低めです。差し引きで見ると、潜在の 1 ステップが文字の約 5 トークン分を受け持っていた計算になります。 手元の実験でわかったこと 手元で動かしてわかったことを、論文の主張と照らし合わせてまとめます。 - Mac でも動く：公式コードは CUDA 前提の書き方ですが、中身は PyTorch と transformers だけなので、装置の指定と乱数の生成器を MPS にするだけで動きました。8B の重み（bf16）は約 16.4GB です - 速さはステップ数で決まる：潜在の 1 ステップと文字の 1 語は同じ時間でした。論文の「生成ステップの削減がそのまま速さになる」という説明どおりです - ステップは減るが、手元の差は論文より小さい：30 問の合計では 53% 減ったが、その多くは潜在を禁止した側が止まらなくなった分。普通に解き終わった 22 問だけなら 29% 減だった - 潜在を禁止すると崩れやすい：同じ重みで潜在を禁止すると、30 問中 8 問で上限まで止まらず、正解も 25 問 → 20 問に減った。潜在モードは「あれば速い」だけでなく、このモデルにとっては考え方の一部になっている - 擬似テキストは読めるが、近似：流れは追える一方、つづりの崩れや否定語の欠落のように読める箇所がありました - 同じ種なら同じ結果：同じ問題・同じ乱数の種で 2 回動かすと、ステップ数まで一致しました。比較実験がしやすい作りです 日本語での質問、検索ツール（Tavily）を使う課題、14B モデル、文字だけで学習した別のエージェントとの比較は、今回は確かめていません。 使いどころと限界 HybridAgent は面白い研究ですが、明日から仕事のエージェントに組み込める段階ではありません。どんな状況なら試す価値があるかを、筆者の整理として図にまとめました。 !HybridAgentの考え方を試すべきかを判断する4つの質問のフローチャート。重みを自分で動かせるか、推論の仕組みを用意・改造できるか、思考の全文を文字で残さなくてよいか、道具を何度も呼ぶ長い作業で時間や費用が課題か、を順に強調するアニメーション 上から順に答え、すべて通れば試す価値が高い。API のモデルしか使っていないなら、いまは使えない（筆者の整理）。 限界として、次の 4 点を押さえておくとよいでしょう。 1. オープンな重みと専用エンジンが前提：HybridLink を通すには、モデルの隠れ状態に直接触れる必要があります。Claude や GPT など API 経由のモデルでは使えません。推論サーバーも、vLLM・Ollama・LM Studio などの既存のものは、論文時点で対応していません。Hacker News では「llama.cpp で 14B を動かしたら同じ文をくり返した」という報告もありましたが、これは専用エンジンを使わず普通の言語モデルとして動かした結果と考えられます。 2. 潜在部分の読み出しは近似：「一番近い語」を並べた擬似テキストは、潜在の思考そのものではなく、近くを通っている語を拾った近似です。手元の実験でも、読める文の中に崩れた語が混じりました。読み出しに表れない情報が潜在に含まれている可能性は残ります。 3. 思考の監視をどう考えるか：論文は、潜在の思考は提供者が持つ HybridLink を通さないと読めないので、思考が外に漏れにくく、提供者は全体を監視できる、と利点として述べています。一方で、利用者からは見えない思考が増えることでもあります。AI の安全性の研究では「思考を読めること」自体が重要な安全装置と考えられており、Hacker News でもこの点への懸念が最も多く挙がっていました。どちらの見方にも一理があり、監視の方法とセットで議論が続きそうです。 4. 小さいモデルでの結果：論文の実験は 4B〜14B です。大型モデルで同じ効果が出るかは、まだわかりません。 トラブルシューティング Mac で動かしたときにつまずいた点を、確認する順番にまとめます。 !Macで動かすときのつまずきと対処を、ダウンロード、生成速度、乱数の生成器、Pythonツール、時間の比較の順に強調するアニメーション 準備 → 起動 → 生成 → ツール → 測定の順に確かめる。どれも公式コードを書き換えずに解決できた。 | 症状・エラー | 原因 | 対処 | |---|---|---| | 公式スクリプトが CPU で動き、極端に遅い | torch.cuda.is_available() が偽だと CPU を選ぶ作り | 装置に torch.device("mps") を指定する（本記事の run_mac.py・inspect_mac.py） | | Expected a 'mps' device type for generator but found 'cpu' | 乱数の生成器が CPU 上にある | torch.Generator(device="mps").manual_seed(…) で作る | | RuntimeError: TAVILY_API_KEY is required | 検索ツールのキーがない | Tavily のキーを .env に書くか、検索ツールを代役にする（本記事は代役） | | Python ツールが MemoryLimitConfigurationError で毎回失敗する | macOS では RLIMIT_AS の設定が current limit exceeds maximum limit で失敗する | PythonTool(memory_limit_gb=None) にして、メモリ制限はサンドボックス側で考える | | サンドボックスで realpath: … Operation not permitted | file-read* を禁止すると、親フォルダの情報も読めなくなる | 禁止するのは file-read-data（中身の読み取り）だけにする | | ダウンロードが途中から毎秒数 MB に落ちる | 接続が絞られた | hf download を止め、.incomplete を curl -C - で続きから取得し、SHA-256 を照合する | | 同じ文をくり返して終わらない | 最大ステップ（既定 4,096）まで生成が続く。本記事では潜在モードを禁止した側で 30 問中 8 問 | max_response_tokens で上限を決め、終了理由（end_reason）が budget の問題を確認する | | 長い実行が終了コード 137 で止まる | プロセスが強制終了された（本記事では 29 問目で 1 回。原因の記録なし） | run_mac.py は 1 問ずつ記録するので、同じコマンドで続きから再開できる | | Mac がスリープすると実行が止まる | 手動スリープ中は処理が進まず、自動起床中に GPU を回すと熱の保護で再びスリープする | 実行中は Mac を起こしておく。caffeinate -is を付けて実行すると、放置による自動スリープは防げる | まとめ - HybridAgent は、考えるときは潜在モード、道具を使うときは文字モードを 1 回の生成の中で切り替える AI エージェントです。切り替えは小さな部品 HybridLink と、2 つの特別な語 <latent>・</latent> で行います - 潜在の思考は文字に戻せないため、ターンをまたぐ履歴は作業記憶（KV キャッシュ）で持ち越します。これが、既存の API や推論サーバーと相性が悪い理由でもあります - 論文の「35.5〜54.7% 削減」は生成ステップの総数、「10.4% 向上」は同じ大きさのエージェントとの比較です。大型モデルには、道具を使う課題で勝ち、知識の課題で負けています - 手元の Mac でも公式の 8B モデルが動きました。30 問の比較では、潜在を禁止した場合より正解が多く（25 対 20）、普通に解き終わった問題では生成ステップが 29% 減りました。潜在の 1 ステップと文字の 1 語は同じ時間なので、速さはステップ数で決まります 次の一歩としては、公式の interpretable_latent_mode で潜在の思考を自分の目で読んでみるのがおすすめです。思考を「どこまで文字にするか」は、これからの AI エージェントの速さ・費用・安全性を同時に左右するテーマになりそうです。 参考リソース - 論文：Zou et al.「Hybrid Reasoning Agents」arXiv:2610.18861 arxiv.org - 公式コード：togethercomputer/HybridAgent - 公開モデル：huggingface.co ／ huggingface.co - 公開データ：huggingface.co - Coconut（潜在推論の代表例）：Hao et al.「Training Large Language Models to Reason in a Continuous Latent Space」arXiv:2412.06769 - Hacker News での議論：news.ycombinator.com 付録：Mac 用スクリプト全文 動作確認：2026-10-25、Apple M5 Max・macOS 26・torch 2.11.0・transformers 5.13.0。mac/ フォルダに置き、HybridAgent を pip install -e 済みの仮想環境で実行します。 # mac/run_mac.py """HybridAgent を Mac（Apple Silicon の MPS）で動かし、ハイブリッド推論と 「潜在モードを禁止した文字だけの推論」を同じ重みで比べるスクリプト。 # 1 問ごとに「ハイブリッド」と「潜在モード禁止」を交互に解く（結果は results/math30-*.jsonl） python run_mac.py --model ../models/HybridAgent-8B-Agentic \ --questions math500_sample.jsonl --mode both --out results/math30 # 片方だけなら --mode hybrid / --mode text と、ファイル名をそのまま --out に渡す - Python ツールは sandbox-exec の中で動かす（ネットワーク遮断・書き込みは pytmp だけ） - 検索ツールは Tavily のキーがないので「結果なし」を返す代役にする - 1 問ずつ（バッチ 1）。各ステップの順伝播時間を「潜在」「文字」「ツール結果の読み込み」に分けて記録する """ from __future__ import annotations import argparse import gc import json import os import time from pathlib import Path import torch from hybrid_agent import SYSTEM_PROMPT, HybridGenerationEngine, extract_answer, load_hybrid_agent from hybrid_agent.engine import FEED, LATENT from hybrid_agent.tools import ToolExecutor from hybrid_agent.tools.base import BaseTool from hybrid_agent.tools.python_tool import PythonTool HERE = Path(__file__).resolve().parent class NoSearchTool(BaseTool): """Tavily の代わり。常に「結果なし」を返す。""" calls = 0 @property def name(self) -> str: return "no_search" @property def trigger_tag(self) -> str: return "search" def execute(self, content: str, **kwargs) -> str: NoSearchTool.calls += 1 return "No search results found." class MacEngine(HybridGenerationEngine): """ステップごとの時間を入力の種類別に集計する。block_latent=True なら <latent> を出させない。""" def __init__(self, *args, block_latent: bool = False, **kwargs): super().__init__(*args, **kwargs) self.step_time = {"latent": 0.0, "text": 0.0, "feed": 0.0} self.step_count = {"latent": 0, "text": 0, "feed": 0} if block_latent: for key in self._blocked_masks: self._blocked_masks[key] = self._blocked_masks[key].clone() self._blocked_masks[key][self.latent_open_id] = True @torch.no_grad() def _lockstep_forward(self, inputs_embeds, real_rows): mode = self.rows[0].mode kind = "latent" if mode == LATENT else "feed" if mode == FEED else "text" t0 = time.perf_counter() super()._lockstep_forward(inputs_embeds, real_rows) if self.device.type == "mps": torch.mps.synchronize() self.step_time[kind] += time.perf_counter() - t0 self.step_count[kind] += 1 def is_correct(pred: str, gold: str) -> bool: from math_verify import parse, verify if not pred: return False try: g = parse("$" + gold + "$") p = parse("$" + pred + "$") if g and p and verify(g, p): return True except Exception: pass norm = lambda s: s.replace(" ", "").replace("\\!", "").replace("dfrac", "frac").strip("$") return norm(pred) == norm(gold) def main() -> None: ap = argparse.ArgumentParser() ap.add_argument("--model", required=True) ap.add_argument("--questions", required=True, help="JSONL: {id, question, answer}") ap.add_argument("--mode", choices=["hybrid", "text", "both"], default="hybrid", help="both = 1 問ごとに hybrid と text を交互に（順番も問題ごとに入れ替える）") ap.add_argument("--out", required=True, help="both のときは <out>-hybrid.jsonl と <out>-text.jsonl に書く") ap.add_argument("--limit", type=int, default=0) ap.add_argument("--seed", type=int, default=0) ap.add_argument("--max_response_tokens", type=int, default=4096) args = ap.parse_args() device = torch.device("mps" if torch.backends.mps.is_available() else "cpu") t_load = time.time() model, tokenizer = load_hybrid_agent(args.model, device=device) print(f"loaded on {device} in {time.time() - t_load:.1f}s", flush=True) tools = ToolExecutor() tools.register_tool(PythonTool(python_path=str(HERE / "sbpython"), timeout=60, memory_limit_gb=None)) tools.register_tool(NoSearchTool()) questions = [json.loads(l) for l in open(args.questions, encoding="utf-8") if l.strip()] if args.limit: questions = questions[: args.limit] modes = ["hybrid", "text"] if args.mode == "both" else [args.mode] outs = {m: (f"{args.out}-{m}.jsonl" if args.mode == "both" else args.out) for m in modes} done = {m: set() for m in modes} for m, path in outs.items(): Path(path).parent.mkdir(parents=True, exist_ok=True) if os.path.isfile(path): done[m] = {json.loads(l)["id"] for l in open(path, encoding="utf-8") if l.strip()} for i, q in enumerate(questions): order = modes if i % 2 == 0 else list(reversed(modes)) for mode in order: if q["id"] in done[mode]: continue rec = run_one(model, tokenizer, device, tools, q, mode, args.seed + i, args.max_response_tokens) with open(outs[mode], "a", encoding="utf-8") as out: out.write(json.dumps(rec, ensure_ascii=False) + "\n") ms = {k: round(1000 * rec["step_time"][k] / max(rec["step_count"][k], 1), 1) for k in ("latent", "text")} print( f"[{i + 1}/{len(questions)}] {q['id']} {mode} ok={rec['correct']} pred={rec['pred']!r} gold={q.get('answer')!r} " f"text={rec['text_tokens']} latent={rec['latent_steps']} steps={rec['generation_steps']} " f"py={rec['python_calls']} t={rec['total_time']:.1f}s ms/step={ms} end={rec['end_reason']}", flush=True, ) def run_one(model, tokenizer, device, tools, q, mode, seed, max_response_tokens) -> dict: engine = MacEngine( model, tokenizer, device, tools, SYSTEM_PROMPT, q["question"], batch_size=1, max_response_tokens=max_response_tokens, max_tool_calls=5, max_search_calls=5, max_python_calls=5, terminate_on_tool_cap=True, temperature=0.6, top_p=0.95, top_k=20, repetition_penalty=1.1, record_latent_readout=(mode == "hybrid"), block_latent=(mode == "text"), ) rng = torch.Generator(device=device).manual_seed(seed) engine.run(rng=rng) res = engine.row_result(engine.rows[0]) pred = extract_answer(res["output"]) rec = { "id": q["id"], "mode": mode, "level": q.get("level"), "subject": q.get("subject"), "answer": q.get("answer"), "pred": pred, "correct": is_correct(pred, str(q.get("answer", ""))), "text_tokens": res["generation_steps"] - res["latent_steps"], "latent_steps": res["latent_steps"], "generation_steps": res["generation_steps"], "latent_spans": res["latent_spans"], "anchor_exits": res["anchor_exits"], "forced_exits": res["forced_exits"], "python_calls": res["python_calls"], "search_calls": res["search_calls"], "end_reason": res["end_reason"], "total_time": engine.total_time, "llm_time": engine.llm_time, "tool_time": engine.tool_time, "step_time": engine.step_time, "step_count": engine.step_count, "output": res["output"], "output_rendered": res.get("output_rendered"), "latent_readouts": res.get("latent_readouts"), } # 問題ごとに作業記憶（KV キャッシュ）を捨て、MPS のメモリを返す del engine gc.collect() if device.type == "mps": torch.mps.empty_cache() return rec if __name__ == "__main__": main() # mac/inspect_mac.py（潜在の思考を HTML レポートにする） """Interpretable Latent Mode（潜在の思考を擬似テキストで読む）を Mac の MPS で動かす。 python inspect_mac.py --model ../models/HybridAgent-8B-Agentic \ --question "How many trailing zeros does 100! have?" --html results/report-q4.html 公式の `python -m interpretable_latent_mode` は CUDA か CPU しか選ばないので、 同じ inspect() を MPS で呼び、ツールは run_mac.py と同じもの（サンドボックスの Python・検索の代役）を使う。 """ from __future__ import annotations import argparse import json from pathlib import Path import torch from hybrid_agent import load_hybrid_agent from hybrid_agent.tools import ToolExecutor from hybrid_agent.tools.python_tool import PythonTool from interpretable_latent_mode.render import render_html, render_text from interpretable_latent_mode.trace import inspect from run_mac import HERE, NoSearchTool def main() -> None: ap = argparse.ArgumentParser() ap.add_argument("--model", required=True) ap.add_argument("--question", required=True) ap.add_argument("--html", required=True) ap.add_argument("--seed", type=int, default=0) args = ap.parse_args() device = torch.device("mps") model, tokenizer = load_hybrid_agent(args.model, device=device) tools = ToolExecutor() tools.register_tool(PythonTool(python_path=str(HERE / "sbpython"), timeout=60, memory_limit_gb=None)) tools.register_tool(NoSearchTool()) traces = inspect(model, tokenizer, args.question, device=device, tool_executor=tools, readout_top_k=5, seed=args.seed, model_name=Path(args.model).name) Path(args.html).parent.mkdir(parents=True, exist_ok=True) Path(args.html).write_text(render_html(traces), encoding="utf-8") Path(args.html).with_suffix(".json").write_text( json.dumps([t.to_dict() for t in traces], ensure_ascii=False, indent=1), encoding="utf-8") for t in traces: print(render_text(t, color=False, show_steps=False)) if __name__ == "__main__": main() # 例：100! の問題を解かせて、潜在の思考を HTML で見る cd mac ../.venv/bin/python inspect_mac.py --model ../models/HybridAgent-8B-Agentic \ --question "How many trailing zeros does 100! have?" --html results/report-q4.html open results/report-q4.html

議論が行われているRedditのスレッド reddit.com Together ComputerのGitHubリポジトリ（HybridAgent） togethercomputer/HybridAgent Hugging Face上の関連モデルコレクション huggingface.co

Your AI Agent Has Been Thinking Out Loud This Whole Time Watch an AI agent "think" and you'll notice something wasteful: it writes out every intermediate thought in full English sentences, token by token, before it ever gets to the part that matters — calling a tool, running code, giving you an answer. That's not reasoning. That's narrating. A paper and open-source release from Stanford, UIUC, and Together AI — dropped days ago, front-paged on Hacker News yesterday — argues the narration was never necessary. It's called HybridAgent, and the pitch is almost rude in its simplicity: let the model think in raw vectors instead of words, and only switch to text when something outside the model actually needs to read it. The trick: two modes, one generation Most "efficient reasoning" research picks a side — either the model reasons in latent space (fast, but opaque and bad at using tools) or it reasons in text (slow, token-hungry, but legible). HybridAgent refuses to pick. It moves between both within a single generation pass, using a small adapter called HybridLink that maps the model's last hidden state straight back into its own input-embedding space. That sidesteps the usual bottleneck — decode a token, re-embed it, feed it back in — and lets the model keep "thinking" in pure vector form for dozens of steps before it ever has to commit to a word. Two special tokens, <latent> and </latent>, mark the on-ramp and off-ramp. Outside those tags, it's a normal language model making tool calls, reading search results, writing an answer. Inside them, it's compressing an entire chain of thought into something closer to a held breath than a sentence. The part that should make skeptics less nervous: none of this is a black box by default. An "interpretable latent mode" renders every latent step back out as pseudo-text, so you can literally watch a HybridAgent's internal monologue as an HTML report — garbled, abbreviated, but legible. In one released trace, a span of 42 latent steps decodes to something like "the the speed of speed in air at 20° is about 343... should verify... let me search" — recognizably the ghost of a real thought, not noise. How it learned to switch Training is two stages. First, HybridSFT teaches the base model (built on Qwen3, at 8B and 14B) to coordinate with HybridLink at all — basic fluency in switching modes. Then HybridRL takes over and learns when latent mode is worth it, rewarded on correctness, output format, and whether tool calls actually succeed. The model isn't told to minimize tokens; it discovers that thinking quietly is often cheaper and just as accurate. The numbers Across 11 benchmarks spanning math, science, medicine, search, and agentic tasks, at three model scales, HybridAgent beats frontier text-based and latent-only agents by 10.4% on average — while cutting token usage 35.5–54.7%, running 1.8–2.6x faster, and costing 2.7–3.7x less. An ablation check matters more than the headline stats: swap a model's latent spans with ones from unrelated problems, and accuracy drops 45–51%. The latent thinking isn't filler — it's doing real work. Meanwhile tool-call execution stays reliable at 99.7%, so the efficiency gains aren't coming at the cost of the part that actually touches the outside world. Try it Everything's on GitHub (togethercomputer/HybridAgent, MIT-licensed) with runnable checkpoints, not just a paper: git clone https://github.com/togethercomputer/HybridAgent.git && cd HybridAgent pip install -r requirements.txt && pip install -e . cp .env.example .env # add a TAVILY_API_KEY for the search tool python -m hybrid_inference.run_batch --model togethercomputer/HybridAgent-8B-Agentic You'll need a CUDA GPU; the Qwen3 tokenizer already ships with the anchor tokens baked in. Where this sits It's not alone — LatentMAS, from a separate group, applies a similar idea to multi-agent systems, passing latent thoughts between agents instead of within one. HybridAgent's distinction is that it's single-agent, fully inspectable, and already shipping usable weights rather than just a method description. That's probably why it's the one getting the HN traction right now: it's something you can git clone on a Tuesday night, not something you have to reimplement from a methods section. The headline isn't that agents got smarter. It's that they finally stopped assuming "smarter" has to mean "more words." For anyone running agent pipelines at any real scale, that's the metric that was quietly bankrupting them the whole time.

NCM: The LLM Killer? Almost every chatbot writes one token at a time, and reasoning models think in tokens you pay for but never see. In October 2026, two preprints posted four days apart tried a different route. Next-Concept Modeling (NCM, Stanford + Together AI) stores text as a stack of coarse-to-fine layers and writes a whole layer per pass. HybridAgents (Stanford, Together AI, UIUC, Meta) lets an agent think silently in hidden-state vectors and switch to text only for tool calls and answers. We go through how both work, the authors' own numbers (Sudoku, summaries, GAIA, cost), where they lose, who can read the silent thoughts, and what you can download today. All figures are the authors' own; both papers are preprints. Sources: - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - NCM code + models: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - HybridAgent code + models: togethercomputer/HybridAgent - Google Research on LLM decoding steps: research.google - OpenAI reasoning guide: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Jiaru Zou's announcement: x.com - Peter Barnett's reply: x.com 0:00 Two broken sentences 0:56 One token at a time 1:23 NCM: write rough, then sharpen 2:27 Speed tests and the Sudoku result 3:31 HybridAgents: thinking without words 4:28 What the agent scored 5:09 Who can read the silent thoughts 5:54 What you can download today [ar] NCM: هل هو قاتل نماذج اللغة الكبيرة؟ تكتب معظم برامج الدردشة الآلية رمزًا واحدًا في كل مرة، وتعتمد نماذج الاستدلال على الرموز التي تدفع ثمنها ولكنك لا تراها أبدًا. في أكتوبر 2026، نُشرت ورقتان بحثيتان بفارق أربعة أيام، وجرّبتا نهجًا مختلفًا. يُخزّن نموذج Next-Concept Modeling (NCM، جامعة ستانفورد بالتعاون مع Together AI) النص على شكل طبقات متدرجة من العام إلى الخاص، ويكتب طبقة كاملة في كل دورة. أما HybridAgents (جامعة ستانفورد، Together AI، جامعة إلينوي في أوربانا-شامبين، Meta) فيُمكّن الوكيل من التفكير بصمت باستخدام متجهات الحالة المخفية، والتحوّل إلى النص فقط عند استدعاء الأدوات أو الإجابة. نستعرض في هذا المقال آلية عمل كلا النموذجين، والبيانات التي جمعها المؤلفون (لعبة سودوكو، والملخصات، ونموذج GAIA، والتكلفة)، ومواطن الضعف فيهما، ومن يستطيع قراءة الأفكار الصامتة، وما يمكنك تحميله اليوم. جميع الرسوم البيانية من إعداد المؤلفين، والورقتان البحثيتان هما نسختان أوليتان. المصادر: - نمذجة المفهوم التالي: توليد سريع ومتوازي للنصوص من العام إلى الخاص (arXiv 2610.14162): arxiv.org - كود ونماذج NCM: HazyResearch/ncm - وكلاء الاستدلال الهجين (arXiv 2610.18861): arxiv.org - كود ونماذج HybridAgent: togethercomputer/HybridAgent - بحث جوجل حول خطوات فك تشفير LLM: research.google - دليل الاستدلال من OpenAI: developers.openai.com - Coconut (Hao et al., Meta FAIR, (2024): arxiv.org - إعلان جيارو زو: x.com - رد بيتر بارنيت: x.com 0:00 جملتان غير مكتملتين 0:56 كلمة واحدة في كل مرة 1:23 NCM: اكتب مسودة، ثم حسّنها 2:27 اختبارات السرعة ونتيجة سودوكو 3:31 الوكلاء الهجينون: التفكير بدون كلمات 4:28 نتيجة الوكيل 5:09 من يستطيع قراءة الأفكار الصامتة؟ 5:54 ما يمكنك تحميله اليوم [bn] এনসিএম: এলএলএম-এর হত্যাকারী? প্রায় প্রতিটি চ্যাটবট একবারে একটি টোকেন লেখে, এবং রিজনিং মডেলগুলো এমন টোকেনে চিন্তা করে যার জন্য আপনি অর্থ প্রদান করেন কিন্তু যা আপনি কখনও দেখতে পান না। ২০২৬ সালের অক্টোবরে, চার দিনের ব্যবধানে প্রকাশিত দুটি প্রিপ্রিন্ট একটি ভিন্ন পথ অবলম্বনের চেষ্টা করেছিল। নেক্সট-কনসেপ্ট মডেলিং (এনসিএম, স্ট্যানফোর্ড + টুগেদার এআই) টেক্সটকে মোটা থেকে সূক্ষ্ম স্তরের একটি স্ট্যাক হিসাবে সংরক্ষণ করে এবং প্রতি পাসে একটি সম্পূর্ণ স্তর লেখে। হাইব্রিডএজেন্টস (স্ট্যানফোর্ড, টুগেদার এআই, ইউআইইউসি, মেটা) একটি এজেন্টকে হিডেন-স্টেট ভেক্টরে নীরবে চিন্তা করতে দেয় এবং শুধুমাত্র টুল কল ও উত্তরের জন্য টেক্সটে চলে যায়। আমরা আলোচনা করব কীভাবে উভয়ই কাজ করে, লেখকদের নিজস্ব পরিসংখ্যান (সুডোকু, সারাংশ, গাইয়া, খরচ), কোথায় তারা ব্যর্থ হয়, কারা সেই নীরব চিন্তা পড়তে পারে, এবং আপনি আজ কী ডাউনলোড করতে পারেন। সমস্ত চিত্র লেখকদের নিজস্ব; উভয় গবেষণাপত্রই প্রিপ্রিন্ট। উৎসসমূহ: - নেক্সট-কনসেপ্ট মডেলিং: দ্রুত, সমান্তরাল স্থূল থেকে সূক্ষ্ম টেক্সট তৈরি (arXiv 2610.14162): arxiv.org - NCM কোড + মডেল: HazyResearch/ncm - হাইব্রিড রিজনিং এজেন্ট (arXiv 2610.18861): arxiv.org - হাইব্রিডএজেন্ট কোড + মডেল: togethercomputer/HybridAgent - LLM ডিকোডিং ধাপের উপর গুগল গবেষণা: research.google - OpenAI রিজনিং গাইড: developers.openai.com - কোকোনাট (Hao et al., Meta FAIR, 2024): arxiv.org - জিয়ারু জৌ-এর ঘোষণা: x.com - পিটার বারনেটের উত্তর: x.com ০:০০ দুটি অসম্পূর্ণ বাক্য ০:৫৬ একবারে একটি টোকেন ১:২৩ এনসিএম: প্রথমে খসড়া লিখুন, তারপর পরিমার্জন করুন ২:২৭ গতি পরীক্ষা এবং সুডোকুর ফলাফল ৩:৩১ হাইব্রিডএজেন্ট: শব্দহীন চিন্তা ৪:২৮ এজেন্ট কী স্কোর করেছে ৫:০৯ নীরব চিন্তা কে পড়তে পারে ৫:৫৪ আজ আপনি যা ডাউনলোড করতে পারেন [de-DE] NCM: Der LLM-Killer? Fast alle Chatbots schreiben jeweils nur ein Token, und auch Denkmodelle arbeiten mit Token, die zwar bezahlt, aber nie sichtbar sind. Im Oktober 2026 verfolgten zwei Preprints, die innerhalb von vier Tagen veröffentlicht wurden, einen anderen Ansatz. Next-Concept Modeling (NCM, Stanford + Together AI) speichert Text als Stapel von grob-zu-feinen Schichten und schreibt pro Durchlauf eine ganze Schicht. HybridAgents (Stanford, Together AI, UIUC, Meta) ermöglicht es einem Agenten, im Hintergrund mit Vektoren verborgener Zustände zu arbeiten und nur für Werkzeugaufrufe und Antworten auf Text umzuschalten. Wir erläutern die Funktionsweise beider Ansätze, die von den Autoren ermittelten Kennzahlen (Sudoku, Zusammenfassungen, GAIA, Kosten), ihre Schwächen, wer die verborgenen Gedanken lesen kann und was Sie heute herunterladen können. Alle Abbildungen stammen von den Autoren; beide Arbeiten sind Preprints. Quellen: - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - NCM-Code + Modelle: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - HybridAgent-Code + Modelle: togethercomputer/HybridAgent - Google Research zu LLM-Dekodierungsschritten: research.google - OpenAI Reasoning Guide: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Ankündigung von Jiaru Zou: x.com - Antwort von Peter Barnett: x.com 0:00 Zwei unvollständige Sätze 0:56 Ein Token nach dem anderen 1:23 NCM: Erst skizzieren, dann verfeinern 2:27 Geschwindigkeitstests und das Sudoku-Ergebnis 3:31 HybridAgents: Denken ohne Worte 4:28 Die Bewertung des Agenten 5:09 Wer kann die unausgesprochenen Gedanken lesen? 5:54 Was Sie heute herunterladen können [es-US] NCM: ¿El asesino de los LLM? Casi todos los chatbots escriben un token a la vez, y los modelos de razonamiento piensan en tokens por los que se paga pero que nunca se ven. En octubre de 2026, dos preprints publicados con cuatro días de diferencia exploraron un enfoque distinto. NCM (Stanford + Together AI) almacena el texto como una pila de capas que van de lo general a lo particular y escribe una capa completa en cada pasada. HybridAgents (Stanford, Together AI, UIUC, Meta) permite que un agente piense de forma silenciosa en vectores de estado oculto y cambie a texto solo para llamadas a herramientas y respuestas. Analizamos cómo funcionan ambos, las cifras de los autores (Sudoku, resúmenes, GAIA, coste), sus puntos débiles, quién puede leer el pensamiento silencioso y qué se puede descargar hoy mismo. Todas las figuras son de los autores; ambos artículos son preprints. Fuentes: - Next-Concept Modeling: Generación rápida y paralela de texto de grueso a fino (arXiv 2610.14162): arxiv.org - Código y modelos de NCM: HazyResearch/ncm - Agentes de razonamiento híbrido (arXiv 2610.18861): arxiv.org - Código y modelos de HybridAgent: togethercomputer/HybridAgent - Investigación de Google sobre los pasos de decodificación de LLM: research.google - Guía de razonamiento de OpenAI: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Anuncio de Jiaru Zou: x.com - Respuesta de Peter Barnett: x.com 0:00 Dos frases incompletas 0:56 Un token a la vez 1:23 NCM: escribir de forma aproximada y luego perfeccionar 2:27 Pruebas de velocidad y el resultado del Sudoku 3:31 HybridAgents: pensar sin palabras 4:28 La puntuación del agente 5:09 Quién puede leer los pensamientos silenciosos 5:54 Qué puedes descargar hoy [fr-FR] NCM : Le tueur de LLM ? Presque tous les chatbots écrivent un jeton à la fois, et les modèles de raisonnement fonctionnent avec des jetons payants mais invisibles. En octobre 2026, deux prépublications, mises en ligne à quatre jours d'intervalle, ont exploré une approche différente. Next-Concept Modeling (NCM, Stanford + Together AI) stocke le texte sous forme d'une pile de couches, de la plus grossière à la plus fine, et écrit une couche entière à chaque passage. HybridAgents (Stanford, Together AI, UIUC, Meta) permet à un agent de penser silencieusement à l'aide de vecteurs d'état cachés et de n'utiliser le texte que pour les appels d'outils et les réponses. Nous détaillons le fonctionnement de ces deux approches, les données fournies par leurs auteurs (Sudoku, résumés, GAIA, coût), leurs limites, les personnes ayant accès aux pensées silencieuses et les fonctionnalités disponibles au téléchargement. Toutes les figures sont la propriété des auteurs ; les deux articles sont des prépublications. Sources : - Next-Concept Modeling : Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162) : arxiv.org - Code et modèles NCM : HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861) : arxiv.org - Code et modèles HybridAgent : togethercomputer/HybridAgent - Recherche Google sur les étapes de décodage LLM : research.google - Guide de raisonnement OpenAI : developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024) arxiv.org - Annonce de Jiaru Zou : x.com - Réponse de Peter Barnett : x.com 0:00 Deux phrases incomplètes 0:56 Un jeton à la fois 1:23 NCM : écrire d'abord rapidement, puis affiner 2:27 Tests de vitesse et résultat du Sudoku 3:31 HybridAgents : penser sans mots 4:28 Score de l'agent 5:09 Qui peut lire dans les pensées silencieuses ? 5:54 Téléchargements disponibles aujourd'hui [hi] NCM: क्या यह LLM का अंत है? लगभग हर चैटबॉट एक बार में एक ही टोकन लिखता है, और रीजनिंग मॉडल टोकन में सोचते हैं जिनके लिए आप भुगतान करते हैं लेकिन जिन्हें आप कभी नहीं देखते। अक्टूबर 2026 में, चार दिन के अंतराल पर प्रकाशित दो प्रीप्रिंट ने एक अलग तरीका अपनाया। नेक्स्ट-कॉन्सेप्ट मॉडलिंग (NCM, स्टैनफोर्ड + टुगेदर AI) टेक्स्ट को मोटे से बारीक परतों के एक स्टैक के रूप में स्टोर करता है और हर पास में एक पूरी परत लिखता है। हाइब्रिड एजेंट्स (स्टैनफोर्ड, टुगेदर AI, UIUC, मेटा) एक एजेंट को हिडन-स्टेट वैक्टर में चुपचाप सोचने देता है और केवल टूल कॉल और उत्तरों के लिए टेक्स्ट पर स्विच करता है। हम दोनों के काम करने के तरीके, लेखकों के अपने आंकड़े (सुडोकू, सारांश, GAIA, लागत), उनकी कमियां, कौन मौन विचारों को पढ़ सकता है, और आप आज क्या डाउनलोड कर सकते हैं, इन सब पर विस्तार से चर्चा करेंगे। सभी चित्र लेखकों के स्वयं के हैं; दोनों पेपर प्रीप्रिंट हैं। स्रोत: - नेक्स्ट-कॉन्सेप्ट मॉडलिंग: तेज़, समानांतर मोटे से बारीक टेक्स्ट जनरेशन (arXiv 2610.14162): arxiv.org - NCM कोड + मॉडल: HazyResearch/ncm - हाइब्रिड रीजनिंग एजेंट्स (arXiv 2610.18861): arxiv.org - हाइब्रिड एजेंट कोड + मॉडल: togethercomputer/HybridAgent - LLM डिकोडिंग चरणों पर Google रिसर्च: research.google - OpenAI रीजनिंग गाइड: developers.openai.com - कोकोनट (हाओ एट अल., मेटा फेयर) (2024): arxiv.org - जियारू ज़ू की घोषणा: x.com - पीटर बार्नेट का जवाब: x.com 0:00 दो अधूरे वाक्य 0:56 एक बार में एक टोकन 1:23 एनसीएम: पहले रफ लिखें, फिर उसे बेहतर बनाएं 2:27 स्पीड टेस्ट और सुडोकू का परिणाम 3:31 हाइब्रिड एजेंट: बिना शब्दों के सोचना 4:28 एजेंट का स्कोर 5:09 कौन मौन विचारों को पढ़ सकता है 5:54 आप आज क्या डाउनलोड कर सकते हैं [id] NCM: Pembunuh LLM? Hampir setiap chatbot menulis satu token pada satu waktu, dan model penalaran berpikir dalam token yang Anda bayar tetapi tidak pernah Anda lihat. Pada Oktober 2026, dua preprint yang diposting empat hari terpisah mencoba jalur yang berbeda. Next-Concept Modeling (NCM, Stanford + Together AI) menyimpan teks sebagai tumpukan lapisan kasar-ke-halus dan menulis seluruh lapisan per proses. HybridAgents (Stanford, Together AI, UIUC, Meta) memungkinkan agen untuk berpikir secara diam-diam dalam vektor keadaan tersembunyi dan beralih ke teks hanya untuk panggilan dan jawaban alat. Kami akan membahas cara kerja keduanya, angka-angka yang diberikan oleh penulis sendiri (Sudoku, ringkasan, GAIA, biaya), di mana mereka kalah, siapa yang dapat membaca pemikiran diam-diam tersebut, dan apa yang dapat Anda unduh hari ini. Semua gambar adalah milik penulis sendiri; kedua makalah tersebut adalah preprint. Sumber: - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - Kode dan model NCM: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - Kode dan model HybridAgent: togethercomputer/HybridAgent - Riset Google tentang langkah-langkah decoding LLM: research.google - Panduan penalaran OpenAI: developers.openai.com - Coconut (Hao dkk., Meta FAIR, 2024): arxiv.org - Pengumuman Jiaru Zou: x.com - Balasan Peter Barnett: x.com 0:00 Dua kalimat yang terputus 0:56 Satu token dalam satu waktu 1:23 NCM: tulis kasar, lalu pertajam 2:27 Tes kecepatan dan hasil Sudoku 3:31 HybridAgents: berpikir tanpa kata-kata 4:28 Skor agen 5:09 Siapa yang dapat membaca pikiran diam 5:54 Apa yang dapat Anda unduh hari ini [it] NCM: il killer dei modelli linguistici? Quasi tutti i chatbot scrivono un token alla volta e i modelli di ragionamento pensano in token che si pagano ma che non vengono mai visualizzati. Nell'ottobre del 2026, due preprint pubblicati a quattro giorni di distanza l'uno dall'altro hanno tentato una strada diversa. Next-Concept Modeling (NCM, Stanford + Together AI) memorizza il testo come una pila di livelli dal più grossolano al più fine e scrive un intero livello per ogni passaggio. HybridAgents (Stanford, Together AI, UIUC, Meta) permette a un agente di pensare silenziosamente in vettori di stato nascosti e di passare al testo solo per le chiamate e le risposte agli strumenti. Analizziamo il funzionamento di entrambi i modelli, i dati forniti dagli autori (Sudoku, riassunti, GAIA, costi), i loro punti deboli, chi può leggere i pensieri silenziosi e cosa è possibile scaricare oggi. Tutte le figure sono degli autori; entrambi gli articoli sono preprint. Fonti: - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - Codice e modelli NCM: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - Codice e modelli HybridAgent: togethercomputer/HybridAgent - Ricerca Google sui passaggi di decodifica LLM: research.google - Guida al ragionamento di OpenAI: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): Italiano: arxiv.org - Annuncio di Jiaru Zou: x.com - Risposta di Peter Barnett: x.com 0:00 Due frasi spezzate 0:56 Un token alla volta 1:23 NCM: scrivi in ​​modo approssimativo, poi affina 2:27 Test di velocità e il risultato del Sudoku 3:31 HybridAgents: pensare senza parole 4:28 Il punteggio dell'agente 5:09 Chi può leggere i pensieri silenziosi 5:54 Cosa puoi scaricare oggi [iw] NCM: רוצח ה-LLM? כמעט כל צ'אטבוט כותב אסימון אחד בכל פעם, ומודלים של חשיבה חושבים באסימונים שאתה משלם עבורם אבל אף פעם לא רואה. באוקטובר 2026, שני מודלים של קדם-הפקה שפורסמו בהפרש של ארבעה ימים ניסו מסלול אחר. Next-Concept Modeling (NCM, Stanford + Together AI) מאחסן טקסט כערימה של שכבות גסות-עדינות וכותב שכבה שלמה בכל מעבר. HybridAgents (Stanford, Together AI, UIUC, Meta) מאפשר לסוכן לחשוב בשקט בווקטורים במצב נסתר ולעבור לטקסט בלבד עבור קריאות כלים ותשובות. אנחנו עוברים על אופן פעולתם של שניהם, המספרים של המחברים עצמם (סודוקו, סיכומים, GAIA, עלות), היכן הם מפסידים, מי יכול לקרוא את המחשבות השקטות ומה ניתן להוריד היום. כל המספרים הם של המחברים עצמם; שני המאמרים הם קדם-הפקה. מקורות: - מידול קונספט הבא: יצירת טקסט מהירה, מקבילה מטקסט גס עדין (arXiv 2610.14162): arxiv.org - קוד NCM + מודלים: HazyResearch/ncm - סוכני חשיבה היברידיים (arXiv 2610.18861): arxiv.org - קוד HybridAgent + מודלים: togethercomputer/HybridAgent - מחקר גוגל על ​​שלבי פענוח LLM: research.google - מדריך חשיבה של OpenAI: developers.openai.com - קוקוס (Hao et al., Meta FAIR, 2024): arxiv.org - ההכרזה של ג'יארו זואו: x.com - תשובתו של פיטר בארנט: x.com 0:00 שני משפטים שבורים 0:56 אסימון אחד בכל פעם 1:23 NCM: כתוב בצורה גסה, ואז חידוד 2:27 מבחני מהירות ותוצאת סודוקו 3:31 סוכני היברידיים: חשיבה ללא מילים 4:28 מה הסוכן נתן ציון 5:09 מי יכול לקרוא את המחשבות השקטות 5:54 מה ניתן להוריד היום [ja] NCM：LLMキラー？ ほとんどのチャットボットは一度に1トークンずつ書き込み、推論モデルは、ユーザーが料金を支払うものの目にすることのないトークンで思考します。2026年10月、4日間隔で公開された2つのプレプリント論文は、これとは異なるアプローチを試みました。 Next-Concept Modeling（NCM、スタンフォード大学＋Together AI）は、テキストを粗密レイヤーのスタックとして保存し、1回の処理でレイヤー全体を書き込みます。HybridAgents（スタンフォード大学、Together AI、イリノイ大学アーバナ・シャンペーン校、Meta）は、エージェントが隠れ状態ベクトルで暗黙的に思考し、ツール呼び出しと応答時のみテキストに切り替えます。 本稿では、両手法の仕組み、著者らが算出した数値（数独、要約、GAIA、コスト）、それぞれの弱点、暗黙的な思考を読み取ることができる対象、そして現在ダウンロード可能なデータについて解説します。図はすべて著者らによるものであり、両論文ともプレプリントです。 出典： - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - NCMコードとモデル: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - HybridAgentコードとモデル: togethercomputer/HybridAgent - Google ResearchによるLLMデコード手順に関する調査: research.google - OpenAI推論ガイド: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Jiaru Zou氏の発表：x.com - Peter Barnett氏の返信：x.com 0:00 2つの不完全な文 0:56 トークンを1つずつ 1:23 NCM：ラフな文章を書き、その後シャープにする 2:27 スピードテストと数独の結果 3:31 ハイブリッドエージェント：言葉を使わずに考える 4:28 エージェントのスコア 5:09 沈黙の思考を読み取れるのは誰か 5:54 今日ダウンロードできるもの [ko] NCM: LLM 킬러가 될 수 있을까? 거의 모든 챗봇은 한 번에 하나의 토큰을 작성하고, 추론 모델은 사용자가 비용을 지불하지만 결코 볼 수 없는 토큰으로 사고합니다. 2026년 10월, 나흘 간격으로 게시된 두 편의 프리프린트는 다른 접근 방식을 시도했습니다. Next-Concept Modeling(NCM, 스탠포드 + Together AI)은 텍스트를 세분화된 레이어 스택으로 저장하고 한 번에 전체 레이어를 작성합니다. HybridAgents(스탠포드, Together AI, UIUC, Meta)는 에이전트가 은닉 상태 벡터를 사용하여 조용히 사고하고 도구 호출 및 답변에만 텍스트를 사용하도록 합니다. 이 글에서는 두 모델의 작동 방식, 저자들이 제시한 수치(스도쿠, 요약, GAIA, 비용), 한계점, 누가 숨겨진 생각을 읽을 수 있는지, 그리고 지금 바로 다운로드할 수 있는 내용에 대해 자세히 살펴봅니다. 모든 그림은 저자들이 직접 제공한 것이며, 두 논문 모두 프리프린트입니다. 출처: - 차세대 개념 모델링: 빠르고 병렬적인 세밀한 텍스트 생성(arXiv 2610.14162): arxiv.org - NCM 코드 + 모델: HazyResearch/ncm - 하이브리드 추론 에이전트(arXiv 2610.18861): arxiv.org - HybridAgent 코드 + 모델: togethercomputer/HybridAgent - LLM 디코딩 단계에 대한 Google 연구: research.google - OpenAI 추론 가이드: developers.openai.com - Coconut(Hao 외, Meta FAIR, 2024): arxiv.org - 지아루 조우의 발표: x.com - 피터 바넷의 답변: x.com 0:00 두 개의 깨진 문장 0:56 한 번에 하나의 토큰 1:23 NCM: 대략적으로 쓰고 다듬기 2:27 속도 테스트 및 스도쿠 결과 3:31 HybridAgents: 말없이 생각하기 4:28 에이전트 점수 5:09 누가 침묵하는 생각을 읽을 수 있을까 5:54 오늘 다운로드할 수 있는 것 [ml] NCM: എൽ‌എൽ‌എം (LLM) കൊലയാളി? മിക്കവാറും എല്ലാ ചാറ്റ്ബോട്ടുകളും ഒരു സമയം ഒരു ടോക്കൺ എഴുതുന്നു, കൂടാതെ യുക്തിപരമായ മോഡലുകൾ നിങ്ങൾ പണമടച്ച ടോക്കണുകളിലാണ് ചിന്തിക്കുന്നത്, പക്ഷേ ഒരിക്കലും കാണുന്നില്ല. 2026 ഒക്ടോബറിൽ, നാല് ദിവസത്തെ ഇടവേളയിൽ പോസ്റ്റ് ചെയ്ത രണ്ട് പ്രീപ്രിന്റുകൾ വ്യത്യസ്തമായ ഒരു വഴി പരീക്ഷിച്ചു. നെക്സ്റ്റ്-കൺസെപ്റ്റ് മോഡലിംഗ് (NCM, സ്റ്റാൻഫോർഡ് + ടുഗെദർ AI) ടെക്സ്റ്റ് കോർസ്-ടു-ഫൈൻ ലെയറുകളുടെ ഒരു സ്റ്റാക്കായി സംഭരിക്കുകയും ഓരോ പാസിനും ഒരു മുഴുവൻ ലെയർ എഴുതുകയും ചെയ്യുന്നു. ഹൈബ്രിഡ് ഏജന്റുകൾ (സ്റ്റാൻഫോർഡ്, ടുഗെദർ AI, UIUC, മെറ്റാ) ഒരു ഏജന്റിനെ ഹിഡൻ-സ്റ്റേറ്റ് വെക്റ്ററുകളിൽ നിശബ്ദമായി ചിന്തിക്കാനും ടൂൾ കോളുകൾക്കും ഉത്തരങ്ങൾക്കുമായി മാത്രം ടെക്സ്റ്റിലേക്ക് മാറാനും അനുവദിക്കുന്നു. രണ്ടും എങ്ങനെ പ്രവർത്തിക്കുന്നു, രചയിതാക്കളുടെ സ്വന്തം നമ്പറുകൾ (സുഡോകു, സംഗ്രഹങ്ങൾ, GAIA, ചെലവ്), അവ എവിടെ നഷ്ടപ്പെടുന്നു, നിശബ്ദ ചിന്തകൾ ആർക്കാണ് വായിക്കാൻ കഴിയുക, ഇന്ന് നിങ്ങൾക്ക് എന്ത് ഡൗൺലോഡ് ചെയ്യാൻ കഴിയും എന്നിവയിലൂടെ ഞങ്ങൾ കടന്നുപോകുന്നു. എല്ലാ കണക്കുകളും രചയിതാക്കളുടെ സ്വന്തമാണ്; രണ്ട് പേപ്പറുകളും പ്രീപ്രിന്റുകളാണ്. ഉറവിടങ്ങൾ: - നെക്സ്റ്റ്-കൺസെപ്റ്റ് മോഡലിംഗ്: വേഗതയേറിയതും സമാന്തരവുമായ കോഴ്‌സ്-ടു-ഫൈൻ ടെക്സ്റ്റ് ജനറേഷൻ (arXiv 2610.14162): arxiv.org - NCM കോഡ് + മോഡലുകൾ: HazyResearch/ncm - ഹൈബ്രിഡ് റീസണിംഗ് ഏജന്റുകൾ (arXiv 2610.18861): arxiv.org - ഹൈബ്രിഡ് ഏജന്റ് കോഡ് + മോഡലുകൾ: togethercomputer/HybridAgent - LLM ഡീകോഡിംഗ് ഘട്ടങ്ങളെക്കുറിച്ചുള്ള Google ഗവേഷണം: research.google - OpenAI റീസണിംഗ് ഗൈഡ്: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - ജിയാരു സൂവിന്റെ പ്രഖ്യാപനം: x.com - പീറ്റർ ബാർനെറ്റിന്റെ മറുപടി: x.com 0:00 രണ്ട് തകർന്ന വാക്യങ്ങൾ 0:56 ഒരു സമയം ഒരു ടോക്കൺ 1:23 NCM: പരുക്കൻ എഴുതുക, തുടർന്ന് മൂർച്ച കൂട്ടുക 2:27 സ്പീഡ് ടെസ്റ്റുകളും സുഡോകു ഫലവും 3:31 ഹൈബ്രിഡ് ഏജന്റുമാർ: വാക്കുകളില്ലാതെ ചിന്തിക്കുന്നു 4:28 ഏജന്റ് എന്താണ് നേടിയത് 5:09 നിശബ്ദ ചിന്തകൾ ആർക്കാണ് വായിക്കാൻ കഴിയുക 5:54 ഇന്ന് നിങ്ങൾക്ക് എന്ത് ഡൗൺലോഡ് ചെയ്യാൻ കഴിയും [nl-NL] NCM: De LLM-killer? Bijna elke chatbot schrijft één token tegelijk, en redeneermodellen denken in tokens waarvoor je betaalt maar die je nooit te zien krijgt. In oktober 2026 probeerden twee preprints, met een tussenpoos van vier dagen, een andere aanpak. Next-Concept Modeling (NCM, Stanford + Together AI) slaat tekst op als een stapel van grove naar fijne lagen en schrijft een hele laag per keer. HybridAgents (Stanford, Together AI, UIUC, Meta) laat een agent stil denken in verborgen toestandsvectoren en schakelt alleen over op tekst voor toolaanroepen en antwoorden. We bespreken hoe beide werken, de eigen cijfers van de auteurs (Sudoku, samenvattingen, GAIA, kosten), waar ze tekortschieten, wie de stille gedachten kan lezen en wat je vandaag kunt downloaden. Alle figuren zijn van de auteurs zelf; beide artikelen zijn preprints. Bronnen: - Next-Concept Modeling: Snelle, parallelle tekstgeneratie van grof naar fijn (arXiv 2610.14162): arxiv.org - NCM-code + modellen: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - HybridAgent-code + modellen: togethercomputer/HybridAgent - Google Research over LLM-decoderingsstappen: research.google - OpenAI-handleiding voor redeneren: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Aankondiging van Jiaru Zou: x.com - Reactie van Peter Barnett: x.com 0:00 Twee gebroken zinnen 0:56 Eén token tegelijk 1:23 NCM: schrijf ruw, en scherp dan aan 2:27 Snelheidstests en het Sudoku-resultaat 3:31 HybridAgents: denken zonder woorden 4:28 Wat de agent scoorde 5:09 Wie kan de stille gedachten lezen 5:54 Wat je vandaag kunt downloaden [pa] NCM: ਕੀ ਇਹ LLM ਦਾ ਅੰਤ ਹੈ? ਲਗਭਗ ਹਰ ਚੈਟਬੋਟ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਟੋਕਨ ਲਿਖਦਾ ਹੈ, ਅਤੇ ਤਰਕਸ਼ੀਲ ਮਾਡਲ ਉਹਨਾਂ ਟੋਕਨਾਂ ਵਿੱਚ ਸੋਚਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਲਈ ਤੁਸੀਂ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ ਪਰ ਕਦੇ ਨਹੀਂ ਦੇਖਦੇ। ਅਕਤੂਬਰ 2026 ਵਿੱਚ, ਚਾਰ ਦਿਨਾਂ ਦੇ ਅੰਤਰਾਲ 'ਤੇ ਪੋਸਟ ਕੀਤੇ ਗਏ ਦੋ ਪ੍ਰੀਪ੍ਰਿੰਟ ਨੇ ਇੱਕ ਵੱਖਰਾ ਰਸਤਾ ਅਜ਼ਮਾਇਆ। ਨੈਕਸਟ-ਕੰਸੈਪਟ ਮਾਡਲਿੰਗ (NCM, ਸਟੈਨਫੋਰਡ + ਟੂਗੈਦਰ AI) ਟੈਕਸਟ ਨੂੰ ਮੋਟੇ-ਤੋਂ-ਬਰੀਕ ਪਰਤਾਂ ਦੇ ਸਟੈਕ ਵਜੋਂ ਸਟੋਰ ਕਰਦਾ ਹੈ ਅਤੇ ਪ੍ਰਤੀ ਪਾਸ ਇੱਕ ਪੂਰੀ ਪਰਤ ਲਿਖਦਾ ਹੈ। ਹਾਈਬ੍ਰਿਡ ਏਜੰਟ (ਸਟੈਨਫੋਰਡ, ਟੂਗੈਦਰ AI, UIUC, ਮੈਟਾ) ਇੱਕ ਏਜੰਟ ਨੂੰ ਲੁਕਵੇਂ-ਸਟੇਟ ਵੈਕਟਰਾਂ ਵਿੱਚ ਚੁੱਪਚਾਪ ਸੋਚਣ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਿਰਫ਼ ਟੂਲ ਕਾਲਾਂ ਅਤੇ ਜਵਾਬਾਂ ਲਈ ਟੈਕਸਟ 'ਤੇ ਸਵਿਚ ਕਰਨ ਦਿੰਦਾ ਹੈ। ਅਸੀਂ ਦੇਖਦੇ ਹਾਂ ਕਿ ਦੋਵੇਂ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਲੇਖਕਾਂ ਦੇ ਆਪਣੇ ਨੰਬਰ (ਸੁਡੋਕੁ, ਸੰਖੇਪ, GAIA, ਲਾਗਤ), ਉਹ ਕਿੱਥੇ ਗੁਆਉਂਦੇ ਹਨ, ਚੁੱਪ ਵਿਚਾਰਾਂ ਨੂੰ ਕੌਣ ਪੜ੍ਹ ਸਕਦਾ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਅੱਜ ਕੀ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ। ਸਾਰੇ ਅੰਕੜੇ ਲੇਖਕਾਂ ਦੇ ਆਪਣੇ ਹਨ; ਦੋਵੇਂ ਪੇਪਰ ਪ੍ਰੀਪ੍ਰਿੰਟ ਹਨ। ਸਰੋਤ: - ਅਗਲਾ-ਸੰਕਲਪ ਮਾਡਲਿੰਗ: ਤੇਜ਼, ਸਮਾਨਾਂਤਰ ਮੋਟੇ-ਤੋਂ-ਫਾਈਨ ਟੈਕਸਟ ਜਨਰੇਸ਼ਨ (arXiv 2610.14162): arxiv.org - NCM ਕੋਡ + ਮਾਡਲ: HazyResearch/ncm - ਹਾਈਬ੍ਰਿਡ ਰੀਜ਼ਨਿੰਗ ਏਜੰਟ (arXiv 2610.18861): arxiv.org - ਹਾਈਬ੍ਰਿਡ ਏਜੰਟ ਕੋਡ + ਮਾਡਲ: togethercomputer/HybridAgent - LLM ਡੀਕੋਡਿੰਗ ਕਦਮਾਂ 'ਤੇ ਗੂਗਲ ਖੋਜ: research.google - OpenAI ਤਰਕ ਗਾਈਡ: developers.openai.com - ਨਾਰੀਅਲ (Hao et al., Meta FAIR, 2024): arxiv.org - ਜੀਆਰੂ ਜ਼ੂ ਦਾ ਐਲਾਨ: x.com - ਪੀਟਰ ਬਾਰਨੇਟ ਦਾ ਜਵਾਬ: x.com 0:00 ਦੋ ਟੁੱਟੇ ਹੋਏ ਵਾਕ 0:56 ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਇੱਕ ਟੋਕਨ 1:23 NCM: ਰਫ਼ ਲਿਖੋ, ਫਿਰ ਤਿੱਖਾ ਕਰੋ 2:27 ਸਪੀਡ ਟੈਸਟ ਅਤੇ ਸੁਡੋਕੁ ਨਤੀਜਾ 3:31 ਹਾਈਬ੍ਰਿਡ ਏਜੰਟ: ਸ਼ਬਦਾਂ ਤੋਂ ਬਿਨਾਂ ਸੋਚਣਾ 4:28 ਏਜੰਟ ਨੇ ਕੀ ਸਕੋਰ ਕੀਤਾ 5:09 ਚੁੱਪ ਵਿਚਾਰਾਂ ਨੂੰ ਕੌਣ ਪੜ੍ਹ ਸਕਦਾ ਹੈ 5:54 ਤੁਸੀਂ ਅੱਜ ਕੀ ਡਾਊਨਲੋਡ ਕਰ ਸਕਦੇ ਹੋ [pl] NCM: Zabójca LLM? Prawie każdy chatbot pisze jeden token na raz, a modele rozumowania myślą w tokenach, za które płacisz, ale nigdy ich nie widzisz. W październiku 2026 roku dwa preprinty opublikowane w odstępie czterech dni wypróbowały inną drogę. Next-Concept Modeling (NCM, Stanford + Together AI) przechowuje tekst jako stos warstw od zgrubnej do precyzyjnej i zapisuje całą warstwę na każde przejście. HybridAgents (Stanford, Together AI, UIUC, Meta) pozwala agentowi myśleć w ukryciu w wektorach stanu i przełączać się na tekst tylko w przypadku wywołań narzędzi i odpowiedzi. Omawiamy, jak oba działają, własne liczby autorów (Sudoku, podsumowania, GAIA, koszt), gdzie przegrywają, kto może odczytać ciche myśli i co można pobrać już dziś. Wszystkie rysunki są własnością autorów; oba artykuły są preprintami. Źródła: - Modelowanie Nowej Koncepcji: Szybkie, Równoległe Generowanie Tekstu Zgrubnego do Precyzyjnego (arXiv 2610.14162): arxiv.org - Kod NCM + modele: HazyResearch/ncm - Hybrydowe Agenty Rozumowania (arXiv 2610.18861): arxiv.org - Kod HybridAgent + modele: togethercomputer/HybridAgent - Google Research na temat kroków dekodowania LLM: research.google - Przewodnik po rozumowaniu OpenAI: developers.openai.com - Coconut (Hao i in., Meta FAIR, 2024): arxiv.org - Ogłoszenie Jiaru Zou: x.com - Odpowiedź Petera Barnetta: x.com 0:00 Dwa niedziałające zdania 0:56 Jeden żeton na raz 1:23 NCM: napisz szkic, a potem wyostrz 2:27 Testy szybkości i wynik Sudoku 3:31 HybridAgents: myślenie bez słów 4:28 Wynik agenta 5:09 Kto potrafi odczytać ciche myśli 5:54 Co możesz pobrać dzisiaj [pt-BR] NCM: O assassino de LLMs? Quase todos os chatbots escrevem um token por vez, e os modelos de raciocínio pensam em tokens pelos quais você paga, mas nunca vê. Em outubro de 2026, dois preprints publicados com quatro dias de diferença tentaram uma abordagem diferente. O Next-Concept Modeling (NCM, Stanford + Together AI) armazena texto como uma pilha de camadas, do mais genérico ao mais específico, e escreve uma camada inteira por passagem. O HybridAgents (Stanford, Together AI, UIUC, Meta) permite que um agente pense silenciosamente em vetores de estado oculto e alterne para texto apenas para chamadas de ferramentas e respostas. Analisamos como ambos funcionam, os números apresentados pelos autores (Sudoku, resumos, GAIA, custo), onde eles falham, quem pode ler os pensamentos silenciosos e o que você pode baixar hoje. Todas as figuras são dos próprios autores; ambos os artigos são preprints. Fontes: - Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation (arXiv 2610.14162): arxiv.org - Código e modelos do NCM: HazyResearch/ncm - Hybrid Reasoning Agents (arXiv 2610.18861): arxiv.org - Código e modelos do HybridAgent: togethercomputer/HybridAgent - Pesquisa do Google sobre etapas de decodificação LLM: research.google - Guia de raciocínio da OpenAI: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Anúncio de Jiaru Zou: x.com - Resposta de Peter Barnett: x.com 0:00 Duas frases fragmentadas 0:56 Um token por vez 1:23 NCM: escreva o rascunho e depois refine 2:27 Testes de velocidade e o resultado do Sudoku 3:31 HybridAgents: pensando sem palavras 4:28 A pontuação do agente 5:09 Quem consegue ler os pensamentos silenciosos? 5:54 O que você pode baixar hoje [ru] NCM: Убийца LLM? Практически каждый чат-бот записывает по одному токену за раз, а модели рассуждений мыслят токенами, за которые вы платите, но никогда не видите. В октябре 2026 года два препринта, опубликованные с разницей в четыре дня, попытались пойти другим путем. Next-Concept Modeling (NCM, Стэнфорд + Together AI) хранит текст в виде стека слоев от грубого к точному и записывает целый слой за один проход. HybridAgents (Стэнфорд, Together AI, UIUC, Meta) позволяет агенту мыслить молча в векторах скрытых состояний и переключаться на текст только для вызовов инструментов и ответов. Мы рассмотрим, как работают оба подхода, собственные расчеты авторов (судоку, резюме, GAIA, стоимость), где они проигрывают, кто может читать их «тихие мысли» и что вы можете скачать уже сегодня. Все рисунки принадлежат авторам; обе статьи являются препринтами. Источники: - Моделирование следующего поколения: быстрая параллельная генерация текста от грубого к точному (arXiv 2610.14162): arxiv.org - Код и модели NCM: HazyResearch/ncm - Гибридные агенты рассуждений (arXiv 2610.18861): arxiv.org - Код и модели HybridAgent: togethercomputer/HybridAgent - Исследование Google о шагах декодирования LLM: research.google - Руководство OpenAI по рассуждениям: developers.openai.com - Coconut (Hao et al.) и др., Meta FAIR, 2024): arxiv.org - Объявление Цзяру Цзоу: x.com - Ответ Питера Барнетта: x.com 0:00 Два обрывочных предложения 0:56 По одному токену за раз 1:23 NCM: пишите грубо, затем заточите 2:27 Тесты скорости и результат судоку 3:31 Гибридные агенты: мышление без слов 4:28 Что набрал агент 5:09 Кто может читать безмолвные мысли 5:54 Что вы можете скачать сегодня [ta] NCM: LLM-ஐ வீழ்த்தப்போகிறதா? கிட்டத்தட்ட ஒவ்வொரு சாட்பாட்டும் ஒரு நேரத்தில் ஒரு டோக்கனை எழுதுகிறது, மேலும் பகுத்தறிவு மாதிரிகள் நீங்கள் பணம் செலுத்தும் ஆனால் ஒருபோதும் பார்க்காத டோக்கன்களில் சிந்திக்கின்றன. அக்டோபர் 2026-ல், நான்கு நாட்கள் இடைவெளியில் வெளியிடப்பட்ட இரண்டு முன்வெளியீடுகள் ஒரு வித்தியாசமான வழியை முயற்சித்தன. நெக்ஸ்ட்-கான்செப்ட் மாடலிங் (NCM, ஸ்டான்ஃபோர்ட் + டுகெதர் AI) உரையை கரடுமுரடான-நுண்ணிய அடுக்குகளின் அடுக்காகச் சேமித்து, ஒவ்வொரு சுற்றிலும் ஒரு முழு அடுக்கையும் எழுதுகிறது. ஹைப்ரிட் ஏஜென்ட்ஸ் (ஸ்டான்ஃபோர்ட், டுகெதர் AI, UIUC, மெட்டா) ஒரு ஏஜென்ட்டை மறைநிலை வெக்டர்களில் அமைதியாக சிந்திக்கவும், கருவி அழைப்புகள் மற்றும் பதில்களுக்கு மட்டும் உரைக்கு மாறவும் அனுமதிக்கிறது. இவை இரண்டும் எவ்வாறு செயல்படுகின்றன, ஆசிரியர்களின் சொந்த எண்கள் (சுடோகு, சுருக்கங்கள், GAIA, செலவு), அவை எங்கே பின்தங்குகின்றன, அமைதியான எண்ணங்களை யாரால் படிக்க முடியும், மற்றும் இன்று நீங்கள் என்ன பதிவிறக்கம் செய்யலாம் என்பதைப் பற்றி நாம் விரிவாகப் பார்ப்போம். அனைத்துப் படங்களும் ஆசிரியர்களுடையவை; இரண்டு கட்டுரைகளும் முன்வெளியீடுகளே. ஆதாரங்கள்: - நெக்ஸ்ட்-கான்செப்ட் மாடலிங்: வேகமான, இணையான கரடுமுரடான-நுண்ணிய உரை உருவாக்கம் (arXiv 2610.14162): arxiv.org - NCM குறியீடு + மாதிரிகள்: HazyResearch/ncm - கலப்பின பகுத்தறிவு முகவர்கள் (arXiv 2610.18861): arxiv.org - ஹைப்ரிட் ஏஜென்ட் குறியீடு + மாதிரிகள்: togethercomputer/HybridAgent - LLM டிகோடிங் படிகள் குறித்த கூகிள் ஆராய்ச்சி: research.google - OpenAI பகுத்தறிவு வழிகாட்டி: developers.openai.com - கோகனட் (ஹாவோ மற்றும் பலர், மெட்டா ஃபேர், 2024): arxiv.org - ஜியாரு ஸோவின் அறிவிப்பு: x.com - பீட்டர் பார்னெட்டின் பதில்: x.com 0:00 இரண்டு உடைந்த வாக்கியங்கள் 0:56 ஒரு நேரத்தில் ஒரு டோக்கன் 1:23 NCM: தோராயமாக எழுது, பிறகு கூர்மைப்படுத்து 2:27 வேகச் சோதனைகளும் சுடோகு முடிவும் 3:31 ஹைப்ரிட் ஏஜென்ட்கள்: வார்த்தைகள் இல்லாமல் சிந்திப்பது 4:28 ஏஜென்ட் பெற்ற மதிப்பெண்கள் 5:09 மௌனமான எண்ணங்களை யாரால் படிக்க முடியும் 5:54 இன்று நீங்கள் பதிவிறக்கம் செய்யக்கூடியவை [te] NCM: LLM హంతకుడా? దాదాపు ప్రతి చాట్‌బాట్ ఒకేసారి ఒక టోకెన్‌ను రాస్తుంది, మరియు రీజనింగ్ మోడల్స్ మీరు డబ్బు చెల్లించి కొనే, కానీ ఎప్పటికీ చూడని టోకెన్ల రూపంలో ఆలోచిస్తాయి. అక్టోబర్ 2026లో, నాలుగు రోజుల వ్యవధిలో పోస్ట్ చేయబడిన రెండు ప్రీప్రింట్లు ఒక భిన్నమైన మార్గాన్ని ప్రయత్నించాయి. నెక్స్ట్-కాన్సెప్ట్ మోడలింగ్ (NCM, స్టాన్‌ఫోర్డ్ + టుగెదర్ AI) టెక్స్ట్‌ను స్థూలం నుండి సూక్ష్మం వరకు ఉన్న పొరల స్టాక్‌గా నిల్వ చేస్తుంది మరియు ప్రతి పాస్‌లో ఒక పూర్తి పొరను రాస్తుంది. హైబ్రిడ్ ఏజెంట్స్ (స్టాన్‌ఫోర్డ్, టుగెదర్ AI, UIUC, మెటా) ఒక ఏజెంట్‌ను హిడెన్-స్టేట్ వెక్టర్స్‌లో నిశ్శబ్దంగా ఆలోచించడానికి మరియు టూల్ కాల్స్ మరియు సమాధానాల కోసం మాత్రమే టెక్స్ట్‌కు మారడానికి అనుమతిస్తుంది. ఈ రెండూ ఎలా పనిచేస్తాయి, రచయితల సొంత గణాంకాలు (సుడోకు, సారాంశాలు, GAIA, ఖర్చు), అవి ఎక్కడ వెనుకబడతాయి, ఈ నిశ్శబ్ద ఆలోచనలను ఎవరు చదవగలరు, మరియు మీరు ఈరోజే ఏమి డౌన్‌లోడ్ చేసుకోవచ్చు అనే విషయాలను మేము వివరిస్తాము. అన్ని చిత్రాలు రచయితల సొంతం; రెండు పత్రాలు ప్రీప్రింట్లే. మూలాలు: - నెక్స్ట్-కాన్సెప్ట్ మోడలింగ్: ఫాస్ట్, ప్యారలల్ కోర్స్-టు-ఫైన్ టెక్స్ట్ జనరేషన్ (arXiv 2610.14162): arxiv.org - NCM కోడ్ + మోడల్స్: HazyResearch/ncm - హైబ్రిడ్ రీజనింగ్ ఏజెంట్స్ (arXiv 2610.18861): arxiv.org - హైబ్రిడ్ ఏజెంట్ కోడ్ + మోడల్స్: togethercomputer/HybridAgent - LLM డీకోడింగ్ దశలపై గూగుల్ పరిశోధన: research.google - OpenAI రీజనింగ్ గైడ్: developers.openai.com - కోకోనట్ (హావో మరియు ఇతరులు, మెటా ఫెయిర్, 2024): arxiv.org - జియారు జౌ ప్రకటన: x.com - పీటర్ బార్నెట్ ప్రత్యుత్తరం: x.com 0:00 రెండు విరిగిన వాక్యాలు 0:56 ఒకేసారి ఒక టోకెన్ 1:23 NCM: ముతకగా రాయండి, తర్వాత మెరుగుపరచండి 2:27 వేగ పరీక్షలు మరియు సుడోకు ఫలితం 3:31 హైబ్రిడ్ ఏజెంట్లు: మాటలు లేకుండా ఆలోచించడం 4:28 ఏజెంట్ సాధించిన స్కోరు 5:09 నిశ్శబ్ద ఆలోచనలను ఎవరు చదవగలరు 5:54 మీరు ఈరోజు ఏమి డౌన్‌లోడ్ చేసుకోవచ్చు [uk] NCM: Вбивця LLM? Майже кожен чат-бот записує по одному токену за раз, а моделі міркувань мислять токенами, за які ви платите, але ніколи не бачите. У жовтні 2026 року два препринти, опубліковані з різницею в чотири дні, спробували інший шлях. Next-Concept Modeling (NCM, Stanford + Together AI) зберігає текст як стек шарів від грубого до тонкого та записує цілий шар за прохід. HybridAgents (Stanford, Together AI, UIUC, Meta) дозволяє агенту мовчки думати у векторах прихованого стану та перемикатися на текст лише для викликів інструментів та відповідей. Ми розглянемо, як працюють обидва, власні цифри авторів (судоку, резюме, GAIA, вартість), де вони програють, хто може читати мовчазні думки та що можна завантажити сьогодні. Усі цифри належать авторам; обидві статті є препринтами. Джерела: - Моделювання наступної концепції: швидка, паралельна генерація тексту від грубого до дрібного (arXiv 2610.14162): arxiv.org - Код NCM + моделі: HazyResearch/ncm - Гібридні агенти міркування (arXiv 2610.18861): arxiv.org - Код HybridAgent + моделі: togethercomputer/HybridAgent - Дослідження Google щодо кроків декодування LLM: research.google - Посібник з міркувань OpenAI: developers.openai.com - Coconut (Hao et al., Meta FAIR, 2024): arxiv.org - Оголошення від Jiaru Zou: x.com - Відповідь від Peter Barnett: x.com 0:00 Два розірвані речення 0:56 По одному жетону за раз 1:23 NCM: пишіть грубо, потім заточуйте 2:27 Тести швидкості та результат судоку 3:31 HybridAgents: мислення без слів 4:28 Що набрав агент 5:09 Хто може читати тихі думки 5:54 Що ви можете завантажити сьогодні

They have published the inference code [1], you can’t just throw their model at llama and expect it to work. [1] togethercomputer/HybridAgent

AI AGENTS MAY NOT NEED TO THINK IN WORDS. Researchers built HybridAgent: reasoning in latent space, switching to text for tools. They report 1.8–2.6× faster inference and 2.7–3.7× lower costs. Code: togethercomputer/HybridAgent

An 8B Agent That Thinks Without Writing Tokens Beats GPT-5.6 Luna on GAIA. Not on HLE - Book: RAG Pocket Guide - Also by me: Thinking in Go (2-book series) — Complete Guide to Go Programming + Hexagonal Architecture in Go - My project: Hermes IDE | GitHub — an IDE for developers who ship with Claude Code and other AI coding tools - Me: xgabriel.com | GitHub --- An 8-billion-parameter agent does part of its thinking without writing a single token, and on the GAIA agent benchmark it scores 43.7 to GPT-5.6 Luna's 37.9. Those numbers are the authors' own, reported in Table 1 of the Hybrid Reasoning Agents paper. The same table puts it at 14.4 on Humanity's Last Exam, where Luna scores 29.0. The paper went up on arXiv on October 13, 2026 and made the Hacker News front page on October 18, with 168 points and 101 comments by the time this was written. The weights, training data and code are public under MIT. Both halves of that scorecard matter if you are thinking about using it. What Stanford and Together AI released The authors list affiliations at Stanford, UIUC and Together AI. The GitHub repo holds the method, the generation engine, both post-training stages, batch inference and an inspector for the latent thoughts, all MIT-licensed. Two agents are on Hugging Face: HybridAgent-8B-Agentic and HybridAgent-14B-Agentic. Both start from Qwen3 base models, per the repo README. They call a Python interpreter and a web search tool across turns, and search needs a Tavily API key (model card). The SFT and RL datasets are published too. The abstract reports, across 3 model scales and 11 benchmarks, an average 10.4% improvement, 35.5% to 54.7% fewer tokens, 1.8x to 2.6x faster inference and 2.7x to 3.7x lower cost. How the agent goes quiet A normal agent reasons in text. Every thought is a token you pay for, and every token lands in your logs. HybridAgent can leave text. When the model emits a special <latent> token, the next steps skip decoding: the last-layer hidden state goes through a small residual adapter the authors call HybridLink and is fed straight back in as the next input embedding (paper, Eq. 4). The paper estimates HybridLink at roughly 10M parameters for a 4B model, and the count grows with hidden size. The latent span ends when HybridLink's output lands nearest to the </latent> token embedding. Nothing fixes the span length; the model decides as it goes. Then it acts in plain text: a tool call, a search query, an answer. Between turns, the agent keeps the KV cache of everything so far (prompt, text, latent steps, tool results) and resumes from it, instead of re-encoding the trajectory as tokens (paper). HybridRL is the stage that teaches it when to think quietly and when to write. Read the scorecard row by row The 10.4% is an average. The rows are uneven. From Table 1: | Benchmark | HybridAgent 8B | HybridAgent 14B | GPT-5.6 Luna | Kimi K3 | |---|---|---|---|---| | GAIA | 43.7 | 52.4 | 37.9 | 41.7 | | WebWalker | 42.5 | 49.5 | 11.0 | 10.0 | | HLE | 14.4 | 16.0 | 29.0 | 31.4 | | DeepSearchQA (acc) | 20.0 | 21.7 | 23.3 | 21.7 | The small agents win the web-navigation and multi-hop search rows by wide margins. On HLE, a hard knowledge-and-reasoning exam, the frontier models score roughly double. On DeepSearchQA, Luna still leads. If your workload looks like HLE, the averaged headline does not describe you. One more row from the same table matters for the headline. ARPO, a text-based 8B agent trained with multi-turn tool-use RL and no latent mode, already scores 38.8 on GAIA and 32.0 on WebWalker (Table 1). That is above Luna on both, narrowly on GAIA. So an 8B agent beating Luna on GAIA is not unique to the latent mode. What the latent mode adds is the margin: from 38.8 to 43.7 on GAIA and from 32.0 to 42.5 on WebWalker. The cost number needs the same care. Table 9 prices compute, not an API bill: "Monetary costs assume $2.50 per H100-hour and 10% utilization of peak BF16 throughput" (paper). Each latent step is charged as one full forward pass, so thinking without tokens is not free. The estimates also "exclude prompt prefill, context-dependent attention, and external tool execution." On those terms the 8B agent drops from $439 to $121 per million questions. Your search API bill and your prefill are on top of that. You can't log what was never written Most agent observability today reads text: the reasoning, the tool calls, the final answer. A latent span has no text to read. One commenter in the HN thread asked: "Monitorability and safety, no? This results in lower volume or less accurate text reasoning traces, right?" (HN). The authors do offer a window. Each latent step can be mapped to its nearest token embedding, which yields what the paper calls pseudo-text, and its readability score is the average best cosine match against the vocabulary (paper, Appendix F). The repo ships an inspector that writes those spans to an HTML report (README). Nearest-token decoding tells you which word the hidden state points closest to. It does not prove that the word is what the step computed. The paper's Appendix B.1 also describes small errors compounding over a long latent span, "gradually eroding the semantic coherence of the latent trace" (paper). If your review process depends on reading an agent's reasoning, a latent agent gives you less of it: the steps you can't read are the same steps that save the tokens. Trying it today The README's quick start, split to fit: git clone https://github.com/togethercomputer/HybridAgent.git cd HybridAgent conda create -n hybridagent python=3.11 -y conda activate hybridagent pip install torch==2.11.0 \ --index-url https://download.pytorch.org/whl/cu128 pip install -r requirements.txt pip install -e . cp .env.example .env # TAVILY_API_KEY for the search tool And the inspector, also from the README: python -m interpretable_latent_mode \ --model togethercomputer/HybridAgent-14B-Agentic \ --question "How many trailing zeros does 100! have?" \ --output report.html Before you plan around it: the model card says loading with transformers alone gives you a text-only model; latent mode and tools need the HybridAgent code. No inference provider hosts it yet. And the authors write that verl and vLLM "do not directly support multi-turn hybrid generation," so they extended their own stack (paper). Training is heavier still: the README recommends 32 GPUs for HybridRL. One early report in the HN thread came from a commenter who ran the 14B model and said "it looped on variations of the same paragraph for five minutes before running out its turn budget," suspecting a llama.cpp incompatibility. Given the model card's warning, my reading is that a run outside the HybridAgent engine is not testing the hybrid part at all. I haven't run it myself. Is a cheaper agent worth reasoning you can only read through a projection? For search-heavy jobs where you check the answer and not the path, maybe. For anything you have to audit, I'd want the text. Where do you land? --- If this was useful HybridAgent's biggest wins are on search and multi-hop retrieval tasks, and that's a reminder that what the agent fetches still decides most of the answer. The RAG Pocket Guide covers that layer: retrieval, chunking and reranking patterns you can apply whether the model on top thinks in text or in hidden states. If you run several coding agents side by side, I build Hermes IDE, a console, free to download, that gives each one its own terminal and worktree, on macOS, Windows and Linux (GitHub). 

Hybrid Reasoning Agents Seems to speed up inference, use less tokens, and increase intelligence - curious if people seen this tldr don’t think in text, think in latent space togethercomputer/HybridAgent huggingface.co

x.com togethercomputer/HybridAgent

Hybrid Reasoning Agents: LLM agents that think in latent space, act through text x.com togethercomputer/HybridAgent huggingface.co Evaluations: arxiv.org