QwenLM

Radeon VIIとUbuntu 26.04でROCmを動かし、Flash-NextをOpenCodeにつないだ 5年ほど前に組んだデスクトップがある。当時、GPUにはすでに型落ちだったRadeon VIIを5万円くらいで入手して載せた。Stable Diffusionで遊んでいた時期もあったが、飽きてからはすっかり出番がなくなっていた。 最近はローカルLLMが盛り上がっている。とはいえ、パソコンもGPUもクソ高い。新しいGPUを買う前に、あまり期待せず、久しぶりにこのデスクトップに火を入れて環境を組み直してみることにした。 気になったのは、Radeon VIIのROCm公式サポートが切れていることだ。かなり苦戦する覚悟だったが、実際にはChatGPTのGPT-6.1 Terra（medium）に相談しながら、環境の調査から構築、動作確認まで進められた。多少の修正はあったものの、さくさく進む。最終的に、Qwen3.8-Flash-Nextが動き、OpenCodeからローカルモデルへツール付きでアクセスできるようになった。古いデスクトップでvibe codingを試せる環境ができてしまい、だいぶびっくりしている。 この記事は、そのRadeon VIIでROCmを動かし、ローカルLLMをOpenCodeにつなぐまでの記録だ。 結果は、Q2_0量子化版のFlash-Nextで短めの会話の生成が約35 tokens/s。別途、Qwen3.8-27BのQ3量子化版もllama.cppで約21〜22 tokens/s出ている。両者は量子化も実行エンジンも違うため、モデル同士の純粋な比較ではない。 この記事は2026年11月3日時点の実機メモだ。gfx906のROCmはAMDの通常の動作保証対象とは別扱いで、以下は一つの環境で動いた記録だ。アップデート後も同じように動くとは限らない。 環境と構成 項目 今回の環境 GPU Radeon VII、VRAM 16GB、gfx906 CPU Ryzen 5 3600、6コア12スレッド、AVX2 RAM 公称64GB、OSから約60.7GiB OS Ubuntu 26.04.1 LTS カーネル 7.0.0-42-generic、標準のamdgpu/KFD ROCm TheRock nightly 10.3.0a20261102、gfx906向け HIPのバージョン表示 7.18.26434 推論 Strata v0.2.10、gfx906用ソースビルド モデル ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF、Q2_0 コーディングUI OpenCode v1.19.5 Flash-Nextは本体125B、1トークンで有効になるのは約6BのMoEモデルで、別に51BのN-gram参照テーブルがある。Q2_0はパラメーターを削った小型モデルではなく、重みを量子化したものだ。Qwenの説明と量子化版の配布元を参照してほしい。 構成は大きく3層だ。 Ubuntu標準のamdgpu/KFDがGPUを扱う。 gfx906向けROCmのユーザー空間ライブラリとHIPが計算を担当する。 StrataがモデルをGPU・RAM・ストレージに配置し、ローカルAPIを公開する。 コンテナは使わず、ROCmやビルド成果物はホームディレクトリ下に分離した。システムのドライバやAPTリポジトリは変更していない。 まずamdgpuとKFDを確認する 画面が映っているだけではGPU計算が動くとは限らない。まずカーネルドライバとデバイスノードを確認した。 uname -a lspci -nnk | grep -A 4 -i 'vga|display|3d' ls -l /dev/kfd /dev/dri getfacl /dev/kfd /dev/dri/renderD128 このPCでは1002:66afのRadeon VIIをamdgpuが使用し、/dev/kfdとrenderD128にはログインユーザー向けのACLが付いていた。アクセス権の設定方法は環境によって異なる。/dev/dri/renderD128も固定とは限らないので、自分の環境で確認しよう。 gfx906向けROCmをユーザー領域へ TheRockの対応表ではgfx906はビルド対象だが、Sanity Tested・Release Readyにはチェックがない。配布されていることと、実機で動作検証されていることは別だ。 今回はAMDのnightlyから、同じ日付のSDK・ライブラリ・開発ツール・gfx906向けデバイスコードを仮想環境に揃えた。uvは別途用意した。以下の版は実験時点の固定値で、nightlyの保持期間や配布状態によっては取得できなくなる可能性がある。 uv venv ~/rocm-gfx906/venv uv pip install --python ~/rocm-gfx906/venv/bin/python \ --index-url nightly.repo.amd.com \ 'rocm[libraries,devel,device-gfx906]==10.3.0a20261102' source ~/rocm-gfx906/venv/bin/activate rocm-sdk init export ROCM_PATH="$(rocm-sdk path --root)" export HIP_PATH="$ROCM_PATH" export PATH="$ROCM_PATH/bin:$PATH" export LD_LIBRARY_PATH="$ROCM_PATH/lib:$ROCM_PATH/lib64${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}" rocminfo これは配置先を分かりやすく書き直した再現例だ。実機では~/.local/share/rocm-gfx906/venvを使った。Ubuntu標準のPythonではvenvのensurepipがなかったため、uvで作成した。 rocminfoではRadeon VIIがgfx906:sramecc+:xnack-として見えた。さらにHIPで4,096要素のベクトル加算、rocBLASで2×2と512×512の行列積を検証した。SDK付属テストも27項目が通過した。 HIP compiled vector addition: PASS (4096 elements) rocBLAS SGEMM 512x512 identity product: PASS Ran 27 tests ... OK amdflangは最初、libquadmath.so.0不足で起動しなかった。今回はlibquadmath0をapt downloadしてユーザー領域に展開し、ライブラリパスを通して解決した。同様にC++開発ヘッダーとGCCの開発ライブラリもユーザー領域へ展開した。一般的な環境では、必要な開発パッケージをディストリビューションの方法で揃える方が簡単だ。無関係なUbuntu版のROCmパッケージを混ぜないようにした。 最初にllama.cppでGPU推論を確認 Strataに進む前に、llama.cppをHIP有効・gfx906指定でビルドした。使用したllama.cppのコミットはf9448cddc48c129a4abc7ff9c2a84c2b4c101c61だ。ビルド方法の基本はllama.cppの公式ドキュメントにある。 llama-cli --list-devicesにROCm0: AMD Radeon VIIが表示され、Qwen2.5-0.5BのGGUFで短い生成に成功。次にQwen3.8-27BのUD-Q3_K_XLも試した。モデルファイルは約13.2GBだ。 llama-server -m /path/to/Qwen3.8-27B-UD-Q3_K_XL.gguf \ -ngl 99 -c 4096 -np 1 --host 127.0.0.1 --port 8082 日本語の短い質問に正常回答し、会話では約21〜22 tokens/s。後にログを詳細化して、66/66層がGPUに配置されていることも確認した。別の8K設定では、約7,390トークンの合成入力を約240 tokens/sで処理した。いずれも今回のハードウェアと設定での観測だ。 Strataをgfx906向けにビルドする StrataのAMD向けドキュメントには、gfx906をwave64互換レイヤーでビルドする手順がある。配布済みのRX 6000/7000/9000向けバイナリをRadeon VIIに流用するのではなく、専用のSTRATA_HIP_GFX906経路を使う。 Strata v0.2.10のソースと、プロジェクトが指定するllama.cppコミット3cf03257f219afbe7334045ff7c6a06ac68c627dを用意した。システムにC/C++開発環境、CMake、Ninja、ROCmの開発ツールが必要だ。 STRATA_SRCとLLAMA_SRCは、それぞれ取得・展開したソースディレクトリ cmake -S "$STRATA_SRC" -B "$STRATA_SRC/build-906" -G Ninja \ -DSTRATA_HIP_GFX906=ON \ -DCMAKE_HIP_ARCHITECTURES=gfx906 \ -DSTRATA_GGML_DIR="$LLAMA_SRC" \ -DCMAKE_C_COMPILER="$ROCM_PATH/bin/amdclang" \ -DCMAKE_CXX_COMPILER="$ROCM_PATH/bin/amdclang++" \ -DCMAKE_PREFIX_PATH="$ROCM_PATH" \ -DCMAKE_BUILD_TYPE=Release cmake --build "$STRATA_SRC/build-906" --target strata strata-device -j 6 実機ではシステムにGCC開発環境がなかったため、APTからダウンロードして展開したlibstdc++-15-devとlibgcc-15-devを指す--gcc-toolchainをC/C++/HIPの各フラグに追加した。上は開発環境が通常の場所にある場合の基本形だ。 ビルド時に互換レイヤーの定義を追加した v0.2.10をそのままビルドすると、cudaDeviceGetStreamPriorityRangeとcudaStreamCreateWithPriorityが未定義になった。gfx906互換ヘッダーinclude/strata/platform/hip_compat/strata_hip.hに、対応するHIP APIへのマッピングを追加して再ビルドした。 #define cudaStreamCreateWithFlags hipStreamCreateWithFlags +#define cudaStreamCreateWithPriority hipStreamCreateWithPriority +#define cudaDeviceGetStreamPriorityRange hipDeviceGetStreamPriorityRange これは今回の版とビルドで必要だったローカル修正だ。将来の版では修正済みかもしれない。ビルド後、strata-device --selftest、gfx906向けGDN演算テスト、専門家演算の比較テストで失敗がないことを確認した。これらは全機能や長時間の安定性を保証するものではない。 Flash-Nextを準備して起動 モデルはISTA-DASLabのGGUFのQ2_0を選んだ。37.6GBの本体と28.8GBの参照テーブル、合わせて約66.4GBだ。今回使用したリビジョンはed59f92082b1e93c0e96d60a8b11aab089b52f09。両ファイルを配布元のSHA-256と照合した。 Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00001-of-00002.gguf SHA256 69820c02ec7d0b45ef2ebb19d6620299db749fe2aded7f39f93c6b88b199b720 Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00002-of-00002.gguf SHA256 316b46f3a2dbd68c900f43136ab9449f9dcc3725dfd8c794847c204bc161e113 転送が途中で停滞して再始動した際、最初の不完全ファイルを引き継がず、新しいファイルとして再取得した。完成後に古い不完全ファイル約17.6GBを削除した。大きなモデルでは、途中再開の動作と空き容量を確認したいところだ。 取得後、Strataに付属するtools/iq_pack.pyでインデックス、dense重み、トークナイザーを準備する。STRATA_GGUF_PYは上で用意した固定コミットのllama.cppにあるgguf-pyを指す。 export STRATA_GGUF_PY="$LLAMA_SRC/gguf-py" python "$STRATA_SRC/tools/iq_pack.py" \ --gguf /path/to/Q2_0/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00001-of-00002.gguf \ --out /path/to/pack-q2_0 サーバー設定には、ビルドしたstrata、pack、2つのGGUF、付属のdata/expert-profile.binを指定する。主要なエンジン引数は次のとおりだ。 { "exe": "/path/to/build-906/strata", "cwd": "/path/to/Strata", "tokenizer": "/path/to/pack-q2_0/tokenizer", "model_name": "Qwen3.8-Flash-Next-Q2_0-gfx906", "backend": "hip", "gpu": 0, "parallel": 1, "drafting": "off", "args": [ "--pack", "/path/to/pack-q2_0", "--native", "/path/to/Q2_0/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00001-of-00002.gguf", "--ple-gguf", "/path/to/Q2_0/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-00002-of-00002.gguf", "--expert-profile", "/path/to/Strata/data/expert-profile.bin", "--expert-cache", "auto", "--prefill", "auto", "--max-context", "262144", "--kv", "int8", "--kv-resident", "32768", "--ple-io", "direct", "--spec", "2" ] } パスは自分の環境に置き換える。Pythonの依存パッケージは別の仮想環境にrequirements.txtから導入し、ROCmのライブラリパスも通した状態で、ソースルートからサーバーを起動した。 cd "$STRATA_SRC" python -m serve.server --engine strata --config /path/to/config.json \ --host 127.0.0.1 --port 8081 最初は--specを付け忘れ、ネイティブpackには--spec T (T >= 2)が必要だとエラーになった。--spec 2を追加すると読み込みが進み、日本語での応答に成功した。ここでの--spec 2はエンジンの指定で、MTP補助モデルを導入したという意味ではない。今回draftingはoffだ。 サーバーはローカルのみにbindしている。稼働確認は以下で行える。 curl -s 127.0.0.1 curl -s 127.0.0.1 8Kから32K、256Kへ まず8,192トークンで動作確認し、その後32,768へ増やした。約30,417トークンの合成入力の中央に置いた合言葉を正しく回収できた。入力処理は約71.8秒、約424 tokens/sだった。 次に--max-context 262144 --kv int8 --kv-resident 32768で起動。約248,458トークンの入力でも、中央の合言葉を正しく回収できた。入力処理は約640秒、約388 tokens/sだった。 試行 結果 8K設定、短い会話 約35 tokens/sの生成を観測 32K設定、約30K入力 合言葉を正しく回収、入力約424 tokens/s 256K設定、約248K入力 合言葉を正しく回収、入力約388 tokens/s 長文は同じ日本語の文章を繰り返した合成データで、検索課題も一つだ。複雑な複数文書の理解、長時間稼働、異なるコンテンツで同じ精度・速度が出ることまでは確認していない。短い出力6トークンの生成速度を、長文回答の安定速度として扱うこともしない。 256K起動時は専門家キャッシュが8,235個、空きVRAMは約790MiBだった。GPUがデスクトップ表示も担当しているので余裕は小さめだ。--expert-cache autoやVRAM予約量の調整が必要になる場合がある。Strataのメモリ設定を確認してほしい。 また、今回のStrataの既定設定ではSTRATA_ROUTE_TAIL_SKIP=7が有効で、キャッシュにない専門家の一部を省略する。ログにも回答が少し変わり得ると表示される。7,390トークンの合成入力で1回ずつ試したところ、生成は有効時36.7 tokens/s、無効時33.7 tokens/sで、回答文も少し変わった。各1回の短い応答なので、この差を一般化したり品質差を判断したりはできない。 OpenCodeにつなぐ StrataのOpenAI互換APIを使う。OpenCode v1.19.5をユーザー領域に導入し、~/.config/opencode/opencode.jsonにローカルプロバイダーを追加した。設定形式はOpenCodeのプロバイダー設定を参照した。 { "$schema": "opencode.ai", "model": "strata/Qwen3.8-Flash-Next-Q2_0-gfx906", "provider": { "strata": { "npm": "@ai-sdk/openai-compatible", "name": "Strata (local Radeon VII)", "options": { "baseURL": "127.0.0.1", "apiKey": "local", "timeout": 1200000 }, "models": { "Qwen3.8-Flash-Next-Q2_0-gfx906": { "name": "Qwen3.8 Flash Next Q2_0 (local)", "tool_call": true, "limit": { "context": 262144, "output": 8192 } } } } } } モデルIDは/v1/modelsが返すIDと一致させる。既存設定がある場合は丸ごと置き換えず、必要なプロバイダーを統合してほしい。apiKeyはこのローカルの無認証サーバーに渡すダミー値だ。 opencode models strata opencode 簡単な接続確認として、OpenCodeにテストファイルを読むよう依頼したところ、readツールを呼び出し、ファイル内の合言葉を正しく返した。コードの変更や複雑なエージェント作業の品質までは、この時点では検証していない。 振り返り Radeon VIIの16GB VRAMだけにモデル全体を載せるのではなく、GPUの専門家キャッシュ、RAM、SSDを組み合わせることで、Flash-Nextの推論までたどり着けた。gfx906は標準的な導入経路から外れているため、GPU認識だけで成功とせず、HIP、行列演算、エンジン、実モデル、ツール呼び出しの順に確かめるのが役立った。 一方、今回はnightly ROCm、ソースビルド、互換ヘッダーへの小さな修正を使っている。Qwen3.8-27BはStrataではなくllama.cppで動かしており、Strataで同じ27Bが動くという話ではない。まずは手元で動いた版と設定を記録し、更新するときは一つずつ比較していこうと思う。 この記事について 実はこの記事も、実際に環境を構築したChatGPTのセッションで書いた。会話の中で調べたこと、実行したコマンド、ログに残った測定結果をもとにChatGPTが下書きした。OpenCodeではファイル読み取りツールの呼び出しまで確認したが、複雑なコード修正の成功率はまだ測っていない。これから、この環境でどこまでできるか試していきたい。

Alibaba's Qwen Code repo just leaked qwen4-max, qwen4-coder-plus, and qwen4-omni-120b PRs: 1. qwen-code#15762 "Measured on main at 79a9b753c60, before this change: qwen4, qwen4-max, qwen4-plus, qwen4.5-max, qwen4-coder-plus, qwen4-max-2026-10-01, openai/qwen4-max and qwen4-omni-120b-think all resolved to 262,144. The last of those is already in use as the session model in the omni fixtures, so these ids are not hypothetical." 2. qwen-code#15987 Thank god, it looks like that we're getting successor of Q38FN!

Is Qwen Code Really Free? A Practical Setup and Pricing Guide (2026) Qwen Code is an open-source AI coding agent that can inspect repositories, edit files, execute commands, and connect to different AI model providers. But there's a question that often causes confusion: Is Qwen Code actually free, or do you need to pay for an API key? The short answer: the client is free, but the AI models you connect to it may not be. And if you're following an older tutorial that recommends signing in with Qwen OAuth for free usage, that advice is now outdated. Here's how Qwen Code works in 2026 and how to set it up without choosing the wrong authentication or billing method. 1. What is free, and what costs money? Qwen Code itself is an open-source application licensed under Apache 2.0. You can install the client without purchasing a software license. However, the client still needs access to an AI model. There are several ways to provide that access: | Connection | How billing generally works | |---|---| | QwenCloud Token Plan | Subscription with a monthly credit quota | | QwenCloud Standard API Key | Pay-as-you-go API usage | | Alibaba ModelStudio Coding Plan | Subscription with an included usage quota | | Alibaba ModelStudio Token Plan | Usage-based billing through a dedicated endpoint | | Alibaba ModelStudio Standard API Key | Pay-as-you-go API usage | | Third-party model provider | Depends on that provider's pricing | | Self-hosted local model | No hosted inference charge, but requires your own hardware | This distinction matters. Installing a free coding agent does not automatically give you unlimited free access to the models it uses. Also, QwenCloud Token Plan and Alibaba ModelStudio Token Plan are separate offerings. Do not assume that a key or subscription for one automatically works with the other. 2. Install Qwen Code For an npm installation, first check that you have Node.js 22 or later. node --version Then install Qwen Code: npm install -g @qwen-code/qwen-code@latest On macOS or Linux, Homebrew is another documented installation option: brew install qwen-code Navigate to a project directory and launch the client: cd your-project qwen The first launch will guide you through provider authentication. Official installation guide: Qwen Code Quickstart. 3. Choose the right authentication method Inside the running Qwen Code interface, enter: /auth You'll be able to choose from supported connection types. Option A: QwenCloud This is a straightforward option if you want to use QwenCloud directly. You can choose between: - Token Plan: a subscription with a monthly credit quota. - Standard API Key: pay for API usage based on the provider's pricing. Select the correct regional platform and enter the key issued for that service. Option B: Alibaba ModelStudio Alibaba ModelStudio provides several choices, including Coding Plan, Token Plan, and Standard API Key. These offerings differ in their intended users, quotas, billing rules, and endpoints. For example, Coding Plan is oriented toward individual developers with an included usage quota. Token Plan uses a separate usage-based endpoint. Choose the specific offering that matches your account and API key. Option C: Third-party providers Qwen Code can also connect to supported third-party model providers. This can make sense if you already have an API account elsewhere or want more flexibility over which model you use. You should verify the provider's supported models, usage terms, and pricing before connecting. Option D: Custom or local provider Qwen Code supports custom model connections, including compatible locally hosted model servers. For example, a local inference server exposing an OpenAI-compatible endpoint may be configured as a model provider. This can avoid hosted-model API charges, but it doesn't guarantee every tool or feature works entirely offline. 4. Important: the old free Qwen OAuth option is gone This is one of the biggest changes to watch out for. The previous Qwen OAuth free tier was discontinued on April 15, 2026. As a result, some older installation videos and blog posts may describe a sign-in path that is no longer available for normal use. If an old tutorial tells you to rely on free Qwen OAuth access, check the current official documentation instead. The current recommended workflow is to launch qwen and configure an available provider through /auth. Also note that the old standalone qwen auth CLI command has been removed in the current documentation. The interactive /auth command is entered inside Qwen Code, not directly in your shell. Official reference: Qwen Code Authentication. 5. Check your connection and select a model Once authentication is complete, you can use these commands inside Qwen Code: /doctor Check your environment and authentication configuration. /model Choose from the models available through your configured providers. /help Show the currently available commands. Before running an expensive repository-wide task, try a small request first. For example: > Inspect this repository and explain its main modules. Do not modify any files. Then verify that the selected model responds correctly and that the provider's usage is being recorded as expected. Never commit your API keys to a Git repository. 6. Which setup should you choose? Here's a practical way to decide: You already pay for an API provider: Check whether Qwen Code supports that provider and whether your existing credentials are eligible. You want predictable usage within an included quota: Compare the current subscription and quota terms of the relevant QwenCloud or Alibaba ModelStudio plan. You prefer usage-based billing: Choose an appropriate Standard API Key or usage-based provider connection. You want to run models locally: Check your available hardware, local inference server, model compatibility, and offline requirements. There isn't one universally cheapest option. The total cost depends on the model, workload, quota, cache behavior, and provider terms. 7. A final recommendation Before committing to a paid plan, do three things: 1. Confirm that your intended model is supported by your chosen provider. 2. Run a small real coding task and inspect the result. 3. Check the provider's billing dashboard or quota usage. A free client is useful, but the right model connection determines much of the actual experience and cost. For a source-backed overview of Qwen Code, including its model and API relationships, I've also put together a reference page on iilib — Qwen Code. Official references - Qwen Code Quickstart - Qwen Code Authentication - Qwen Code Model Providers Documentation reviewed: November 2026. Model availability, authentication options and pricing may change. Which provider are you using with Qwen Code, and what has your setup experience been like?

MIT CSAIL: Astra edita 0,016% de pesos de Qwen3.5-0.8B y sube MATH-500 a 48,1% Un modelo de lenguaje acaba de leer 17.253 números sueltos y adivinó, con 99% de confianza, que esa red neuronal había sido entrenada para jugar Breakout. Nadie le dio código fuente, nunca vio una partida: solo los pesos crudos. Investigadores de MIT CSAIL publicaron el 2 de noviembre de 2026 los primeros resultados de una técnica a la que llaman weight-space programming: modelos de lenguaje que leen y editan directamente los pesos de otra red neuronal, sin descenso de gradiente ni ciclos de entrenamiento de por medio. TL;DR - El MIT CSAIL muestra que GPT-6 Astra lee y edita pesos de redes neuronales sin descenso de gradiente.- Astra identifica con 99% de confianza qué videojuego entrenó a una red de 17.253 pesos, sin herramientas externas.- Editando apenas el 0,016% de los pesos de Qwen3.5-0.8B, Astra sube su nota en MATH-500 de 7,9% a 48,1%.- La misma corrección en Qwen3.5-0.8B triplica el puntaje de IFEval sin reentrenar el modelo.- Sin feedback del entorno, Astra escribe redes de juego que vencen a políticas PPO de 100 millones de pasos. Qué es Weight-Space Programming Weight-space programming es la técnica mediante la cual un modelo de lenguaje general, sin entrenamiento adicional ni descenso de gradiente, lee los pesos crudos de una red neuronal para inferir su comportamiento y los modifica directamente para corregir fallos o escribir redes nuevas desde cero, guiado solo por una especificación en lenguaje natural. El equipo detrás del hallazgo son cuatro investigadores de MIT CSAIL: Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab, con publicación fechada el 2 de noviembre de 2026. Usan un modelo al que llaman GPT-6 Astra como sujeto principal de los experimentos. La idea central contrasta con décadas de optimización numérica. Durante años, los sesgos para ajustar pesos quedaron codificados en optimizadores simbólicos como Adam o Muon, algoritmos que calculan gradientes sin entender qué hace cada peso. Astra, en cambio, razona sobre el propósito de cada parte de la red antes de tocarla. Astra identificó el juego entrenado con 99% de confianza, a partir de 17.253 pesos. Qué pasó El primer bloque de experimentos entrena redes pequeñas con algoritmos clásicos y le pide a Astra que adivine su función solo mirando los números. En el experimento 1, el equipo entrenó políticas con PPO para jugar cuatro videojuegos distintos; Astra identificó el juego correcto con 99% de confianza a partir de una red de apenas 17.253 pesos, sin ejecutar el modelo ni usar herramientas externas. El segundo bloque pide algo más difícil: arreglar una red que falla. En una tarea de control físico donde el auto entrenado nunca lograba subir una pendiente, Astra editó el 3,5% de los pesos en un solo intento y la tasa de éxito pasó de 0% a 100%. Después, en el experimento 8, el equipo le pidió mejorar a Qwen3.5-0.8B en matemáticas sin gradientes. Astra encontró en los pesos un patrón de bucles de razonamiento, el mismo problema que advierte la propia tarjeta de modelo de Qwen, y lo corrigió editando solo el 0,016% de los parámetros. Con la misma configuración de muestreo, el puntaje en MATH-500 subió de 7,9% a 48,1%, y la mejora también se trasladó al seguimiento de instrucciones, con un aumento de 3 veces en IFEval. El tercer bloque es el más ambicioso: escribir redes desde cero, sin ningún entrenamiento previo. Astra generó políticas para tres juegos de MinAtar y una red capaz de jugar Go, todo sin recibir una sola señal de recompensa del entorno. En el experimento 7, además, el modelo distinguió cuál de dos modelos de lenguaje había sido entrenado para ser excesivamente adulador, otra vez mirando solo los pesos. Los tres bloques, en conjunto, son la prueba de concepto que sostiene weight-space programming. Contexto e historia La optimización guiada por modelos de lenguaje no es nueva: desde hace unos años se usan LLMs para optimizar textos como prompts y los programas que los rodean. Más recientemente, ese mismo enfoque se extendió a harnesses completos de entrenamiento, incluyendo el código y los hiperparámetros que entrenan otros modelos. La justificación siempre fue la misma: no existía un método principiado para mejorar artefactos de texto a mano, salvo pedírselo a un LLM, pero los pesos de una red diferenciable sí tenían un método principiado, el descenso de gradiente, así que la edición manual quedó fuera del radar. Weight-space programming es la primera señal pública de que esa frontera también se está moviendo. Detalles técnicos: cómo razona Astra sobre los pesos No hay una red auxiliar que traduzca pesos a texto ni un paso de entrenamiento oculto. Astra recibe los pesos crudos, listas de números en punto flotante, directamente en el contexto y razona sobre ellos como si fueran código: identifica qué computa cada capa o cada canal, infiere la función de ese bloque y decide qué número cambiar y por cuánto. Para aplicar un cambio, Astra no reentrena nada: escribe la edición en un kernel de Python que modifica directamente el tensor de pesos. Así corrigió a Qwen3.5-0.8B: ubicó el bloque responsable del bucle de razonamiento y cambió sus valores a mano, como quien repara una fórmula de una hoja de cálculo en lugar de rehacer el cálculo entero. flowchart TD A["Pesos crudos de la red"] --> B["Astra razona sobre circuitos"] B --> C["Infiere funcion o falla"] C --> D["Propone edicion en lenguaje natural"] D --> E["Aplica el cambio en un kernel Python"] E --> F["Evalua el comportamiento resultante"] Para escribir una red desde cero, el proceso es similar pero sin punto de partida. Astra decide la arquitectura, asigna valores iniciales y ajusta cada peso según la función que quiere lograr, sin ninguna señal de recompensa del entorno ni un solo paso de gradiente. La corrección en Qwen3.5-0.8B modificó apenas el 0,016% de los parámetros del modelo. > ⚠️ Ojo: esta es una publicación de blog de investigadores de MIT CSAIL fechada el 2 de noviembre de 2026, no un paper revisado por pares. El único caso con un modelo real es Qwen3.5-0.8B, y los autores no confirmaron si el código o los pesos editados quedarán disponibles para que otros laboratorios repliquen el resultado. La escala real de estos experimentos importa. La mayoría de las pruebas de lectura corren sobre redes de apenas miles de pesos, órdenes de magnitud por debajo de cualquier modelo de producción. No hay forma directa de verificar esto desde afuera: nadie fuera del equipo de MIT CSAIL puede correr hoy los mismos experimentos sin acceso al código ni a los pesos originales. Impacto y análisis El hallazgo apunta en dos direcciones a la vez. Para optimización, sugiere que ajustar pesos ya no depende solo de calcular gradientes: un modelo que entiende qué hace cada parámetro puede proponer ediciones dirigidas, más baratas que reentrenar desde cero. Para interpretabilidad, el resultado es todavía más llamativo. Si Astra puede explicar qué computa cada bloque, ese mismo razonamiento sirve para auditar modelos ajenos, incluyendo detectar comportamientos indeseados como la adulación excesiva del experimento 7. El riesgo es simétrico. Si un modelo puede editar pesos ajenos para corregir un bug, también podría usarse para insertar uno: una alteración minúscula, del tamaño del 0,016% de los parámetros de Qwen3.5-0.8B, es casi imposible de detectar con una inspección manual. Qué sigue El propio equipo describe estos resultados como un primer corte, no un sistema listo para producción. Los pasos lógicos que siguen son escalar a redes de cientos de millones o miles de millones de parámetros, someter el método a revisión por pares y compararlo contra técnicas ya establecidas de edición de modelos basadas en localización de neuronas. También queda pendiente la pregunta de seguridad. Si la técnica se vuelve práctica, los equipos de alineación necesitarán formas de auditar ediciones de pesos igual que hoy auditan código antes de un despliegue, y el estudio no detalla cómo se haría esa auditoría. 📖 Resumen en Telegram: Ver resumen Probalo vos: abrí la publicación original de MIT CSAIL y mirá los demos interactivos de Astra leyendo pesos en vivo, antes de que el experimento cambie de versión. Preguntas frecuentes ¿Qué es GPT-6 Astra? Es el modelo de lenguaje frontera que los investigadores de MIT CSAIL usaron como sujeto principal en sus experimentos de lectura y edición de pesos, publicados el 2 de noviembre de 2026. ¿Cómo lee Astra los pesos de una red neuronal sin herramientas externas? Recibe los números crudos del tensor de pesos directamente en el contexto y razona sobre qué función cumple cada bloque, de forma similar a como leería código fuente, sin ejecutar la red ni usar un depurador. ¿Qué significa editar el 0,016% de los pesos de un modelo? En Qwen3.5-0.8B, con 800 millones de parámetros, ese porcentaje equivale a modificar un puñado de valores puntuales dentro de un solo bloque, no reentrenar la red completa. ¿La edición directa de pesos sustituye al descenso de gradiente? Por ahora no: los propios autores dejan fuera del experimento cualquier ciclo de entrenamiento y la presentan como una técnica complementaria, limitada a correcciones puntuales y redes pequeñas escritas desde cero. ¿Dónde puedo leer el estudio completo sobre manipulación de pesos neuronales? La publicación original, con los ocho experimentos detallados, está disponible en el blog de Rikiya Takehi en MIT CSAIL (ver Referencias). ¿Qué riesgos trae que una IA pueda reescribir los pesos de otro modelo? El mismo mecanismo que corrige un bug podría insertar uno de forma casi indetectable, lo que obliga a pensar en auditorías de pesos tan rigurosas como las de código antes de desplegar un modelo. Referencias - Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab (MIT CSAIL): publicación original con los ocho experimentos de weight-space programming, 2 de noviembre de 2026.- MIT CSAIL: laboratorio de ciencias de la computación e inteligencia artificial del MIT, afiliación de los cuatro autores del estudio.- QwenLM en GitHub: repositorio oficial de la familia de modelos Qwen, incluyendo Qwen3.5, usada como red editada en el experimento 8.- Schulman et al., Proximal Policy Optimization Algorithms (arXiv, 2017): paper original del algoritmo PPO usado para entrenar las redes de referencia en los experimentos de juegos.- Kingma y Ba, Adam: A Method for Stochastic Optimization (arXiv, 2014): paper del optimizador simbólico mencionado como contraste histórico. 📱 ¿Te gusta este contenido? Únete a nuestro canal de Telegram @programacion donde publicamos a diario lo más relevante de tecnología, IA y desarrollo. Resúmenes rápidos, contenido fresco todos los días.

编程 agent 换个地方就得换工具，模型还绑死？ Qwen Code 是终端开源 AI 编程 agent：OpenAI、Anthropic、Gemini、Qwen 都能接，本地 Ollama/vLLM 也行。 适合不想被单一模型绑住的人，先从终端试起。 你会先在哪用，终端还是编辑器？ #AI编程 #开源 @grok QwenLM/qwen-code

Qwen4! preview.redd.it qwen-code#15762 Notice the 120B model!

Good news! Qwen4 models will have 1M context 🤩 Except Qwen4-27b, all other models will have 1M token max context. qwen-code#15762 t.co

Qwen 4 plus, max, plus - coder, omni Officially they will be released on November 1 Models (might be released) Plus, Max, Plus (coder), omni, it can be released sooner, but planned to release first 4 on November now DATA: qwen-code#15762

Qwen4 1M context window Qwen4 models will have a 1 million context window. Qwen4-27B was not mentioned here, but should be announced at Apsara netherlands tommorow. We have a date for Qwen4-max, it is November 1st. Edit: It says October 1st, so its probably a placeholder. PR: qwen-code#15762 preview.redd.it

[20261026] LLM News & Security Measures Delayed Frontier Model Training | Short Full episode (when available): youtube.com English-language short recap of today's four-part LLM briefing: frontier models, local LLMs, GitHub Skills, and the feature on security measures delaying frontier-model training. Data as of October 26, 2026. Sources, visual credits, and voiceover disclosure are listed below. - Introducing GPT-6.1 Terra — OpenAI: openai.com - GPT-6.1 Terra model page — OpenAI API: developers.openai.com - Expanding Claude for Nonprofits — Anthropic: claude.com - ChatGPT: expanding the world of work — OpenAI: openai.com - Ollama releases: github.com/ollama/ollama/releases - Qwen3.8 — QwenLM: QwenLM/Qwen3.8 - Qwen3.8-27B 4-bit MLX — mlx-community: huggingface.co - Apple ML Research: Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio: machinelearning.apple.com - Mac Mini M6 LLM benchmarks: HDZucht/Mac-Mini-M6-LLM-benchmarks - alchaincyf/huashu-motion: alchaincyf/huashu-motion - cloudflare/security-audit-skill: cloudflare/security-audit-skill - NVIDIA/SkillSpector: NVIDIA/SkillSpector - GitHub REST API: Repository stargazers history: docs.github.com - Anthropic, PBC Form S-1 — SEC EDGAR: sec.gov - An alignment assessment of recent cybersecurity incidents — Anthropic: anthropic.com - Investigating alignment failures in AISI’s incident — UK AI Security Institute: aisi.gov.uk - Existing neutral channel background; no visible text. (openai.com) - Generated English subscribe card using the selected channel character. (openai.com) - GPT-native generated illustration; actual model identifier unreported. (openai.com) - GPT-native generated English illustration; actual model identifier unreported. (openai.com) - GPT native generated English closing illustration; actual model identifier unreported. (openai.com) Audio: Qwen3-TTS-12Hz-1.7B / default-en-clone. Mouth movement is approximated from audio amplitude.