rikiyat

An LLM edited a small model's weights directly and its math score rose 6x > TL;DR > - GPT-6 Astra, a frontier LLM, edited 0.016% of Qwen3.5-0.8B's weights directly, with no training run. MATH-500 went from 7.9% to 48.1%. > - The authors read most of that gain as unblocking: the base model kept running into its token limit instead of finishing. Astra also read, repaired and wrote small game-playing networks. > - Limits: no gain on Gemma 3 270M, one frontier LLM, models up to 0.8B, a blog post and not a peer-reviewed paper, and a prompt that hinted at the loop. The edited model and the logs are public. One edit to 0.016% of a small language model's weights lifted its math score from 7.9% to 48.1%. No training run, no gradients: GPT-6 Astra, a frontier LLM, read the weights directly and wrote the fix. Read the 6x with care. 93.0% of the base model's MATH-500 answers ran to the 32,768-token limit without finishing, and the authors read the gain as mostly unblocking: the model now finishes answers it could already work out. The assignment prompt also pointed Astra at that loop, and people have argued about it since Nov 2. MIT CSAIL researchers call this weight-space programming: a general-purpose LLM reads and writes a neural network's weights with no optimizer and no gradient descent, guided by a plain-language spec. Training has always been an indirect way to write weights, and their first results suggest a frontier model can write them directly. The post is "Sparks of Weight-Space Programming" by Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab. Check the Qwen claim yourself; replaying the whole run takes a day The edited model is on Hugging Face as RikiyaT/Qwen3.5-0.8B-weight-space-programming, and only two tensors differ from base. Hugging Face's Ahsen Khaliq rebuilt it from the logs within a day and shipped a live demo. HF's independent run of the full MATH-500 set scored 51.0%. > Try this: run the same math questions through base Qwen3.5-0.8B and the edited model with the same generation cap, and count how many answers hit the cap. The table below shows the authors' rates at a 32,768-token limit. Then clone the logs repo and open exp8_math/runs/p50c/turns/t001/prompt.txt. It is the exact assignment Astra received. Read it before any commentary, including this post. Replaying Astra's own session is the expensive part, though the logs hold everything sent to and from Astra, all code and all evaluations. Coverage of the logs (dailyaibrief.com, clauding.de) reports that the successful 50-pass run took 158 conversational turns and 80 Python runs over 20.3 hours. No fine-tuning cost is given to compare that with. How Astra took a loop out of 131,072 weights Qwen's own model card warns Qwen3.5-0.8B is prone to "loops compared to other Qwen3.5 models, which may prevent it from terminating generation properly." Of the base model's first 96 practice answers, 85 ran to the 32,768-token limit. Astra worked in a Python notebook on practice prompts from the GSM8K and MATH training sets. A forward pass is one run of the model, and the budget capped how many runs Astra got: 10, 25 or 50. It traced the looping to one direction, a single pattern written by the MLP blocks of layers 15 and 19. It then subtracted that direction from 64 output columns in each block, so those layers no longer write it. That is 131,072 weights, 0.016% of the model, and the rest stays as trained. | Metric | Base Qwen3.5-0.8B | Edited (50 passes) | |---|---|---| | MATH-500 | 7.9% | 48.1% | | GSM8K | 13.8% | 67.1% | | IFEval | 21.0% | 62.3% | | MATH-500 answers hitting the 32,768-token limit | 93.0% | 33.1% | It needed the full 50-pass budget: at 10 and 25 passes, MATH-500 reached only 12.3% and 14.1%. Even at 50 passes, 33.1% of answers still hit the limit. IFEval, which tests instruction following, rose too, which fits the unblocking reading. A skeptic can call this a bug fix for a documented loop. None of the coverage I read tests whether a decoding-side fix, such as a repetition penalty, would match it. Did Astra find the loop, or was it told where to look? Researcher Lucas Beyer read the assignment prompt, as Turing Post reported on Nov 2. It told Astra that if Qwen "repeats itself and never finishes, finding and fixing what drives that repetition counts." Coauthor Jayden Teoh replied that the team gave the short assignment via Claude Code. There is a fair counterpoint. Qwen's model card had already flagged the loop, so pointing at it was reasonable. The third-party re-run confirms the edit works. How much credit Astra deserves for finding the loop, given the hint, stays open. A cleaner test would rerun the assignment with that sentence removed. None of the coverage I read reports one, and the prompt is public. Astra also read, repaired and wrote small networks - Read. With no list of games and no tools, Astra named the game each of four trained PPO networks played, from raw weights alone. For Breakout it noticed that first-layer weights concentrate along the bottom row, where a paddle lives. - Fix. In a Kinetix car-ramp task, a PPO policy drove straight at the ramp and stayed stuck. Astra got the weights, a scene description and one recorded episode, with no tools. In one reply it changed 3.5% of the weights and took success from 0% to 100% over 1,024 episodes. The edit added a small path that backs the car up past the red strip, then hands control back to the trained policy. - Write. Given only a game's rules and source code, with no data, loss, gradients, tools or rollouts, Astra wrote MinAtar networks that beat PPO trained for 100M steps in all three games. In Breakout the score was 517.4 versus 15.8. Against PPO at 500M steps, Astra still wins Breakout by 20x. Where it breaks: Gemma 3 270M gained nothing established Gemma 3 270M rarely loops: 8.5% of its answers hit the token limit. MATH-500 started at 6.8% and four edits scored 7.0%, 7.6%, 7.7% and 7.0%. None was established, and Astra said so itself. Its errors are ordinary arithmetic and algebra mistakes, with no single component to switch off. The authors put it this way: "Editing weights could remove an obstacle that hid an ability, but it could not add an ability the model lacked." In a separate test on two fine-tuned Gemma copies, Astra failed from weights alone in all 4 attempts, so some hidden behavior shows only in activations. One frontier LLM was tested, on models up to 0.8B parameters. This is a blog post with logs, not a peer-reviewed paper, and the authors themselves call it "sparks" and "very early." They are building a benchmark and harness to make this "a rigorous, reproducible engineering discipline." Sources: numbers come from the authors' post and logs, plus the Hugging Face model card for the 51.0% re-run. What to watch, and what to try on your own small model My read: the practical use today is diagnosing and surgically repairing small models. If one of yours underperforms, check how often its answers hit the generation cap before you blame its capability. In Qwen's case, 85 of the first 96 practice answers hit it. Then ask whether a decoding-side fix would do the same job; none of the coverage I read reports that comparison. Watch for a replication above 0.8B parameters, and for a second model whose fault is one removable direction, which Gemma's was not. Training is an indirect way to write weights, and a frontier LLM has now written some directly and beaten trained networks on small tests. Dan writes the AI explainers on super-intelligence.rocks, where this piece first appeared.

Another thing I notice about the "weight-space programming" experiments is, for experiment 5 where it writes weights by hand, just how sparse and interpretable the networks end up being. It's clearly a regular old if-then-else computer program encoded as a NN by some easy-to-understand tricks.

3 of 4 weight games guessed from raw numbers A 27B model running on a laptop guessed 3 of 4 Atari-style games from raw weights alone — and it took 2 hours 43 minutes to do it. The fourth game it got wrong, mistaking Freeway for a Pac-Man-like maze game. That is Simon Willison's November 3 reproduction of the weight-space programming paper that blew up the day before, and it is worth separating from the version of the story you may already have seen. The earlier coverage was about a frontier model editing weights to fix a small model. This one is about a laptop model reading weights with no tools at all: no code execution, no calculator, one response, just a wall of floating-point numbers and the question "which game was it trained on?" I did not re-run the 27B model — that would have taken the same hours Willison spent, and I do not pretend otherwise. What I did do is download the four prompts from the paper's repository and measure what the model was actually staring at, because "raw weights" sounds abstract until you count it. prompt files (RikiyaT/lm_understand-logs, exp1_which_game): breakout: 115,478 bytes, 615 lines, 17,253 floats freeway: 115,259 bytes, 615 lines, 17,253 floats pacman: 115,394 bytes, 615 lines, 17,253 floats pong: 115,269 bytes, 615 lines, 17,253 floats first 38 lines: identical across all four prompts (observation spec: 10x10 grid, 5 binary channels per cell) dense float weights begin at line 38 in every file Same shape, same float count, same opening — only the numbers change. That is a clean experimental design, and it is also why the result is more impressive than it first looks: there is no prompt wording difference to leak the answer. The model had to find the game in the numbers. Willison's scoreboard, from his own write-up: game result time confidence Pac-Man correct 46m 12s 72% Pong correct 1h 04m 54s 75% Breakout correct 52m 25s 88% Freeway WRONG — (guessed "Pac-Man-like grid game") successes: 3 of 4 (75%) total time for 3 correct answers: 2h 43m 31s average per correct answer: 54m 30s For scale, he also ran the Breakout prompt through Kimi K3.1 Pro via OpenRouter: correct in 9m 41s with 19,493 reasoning tokens. The laptop Qwen took 52m 25s on the same game — 5.4x slower in wall time. And Qwen's Pac-Man run burned 43,506 reasoning tokens, more than double Kimi's Breakout token count. Nobody is doing this in production at these speeds; the point is that it works at all on a 17GB local model. The failure is the most informative row. Freeway is the obscure one — a 1981 Atari game about crossing traffic, not a maze — and Qwen fell back to the nearest familiar shape, a Pac-Man-like grid game. That is exactly what a pattern-matcher should do when it does not recognize the pattern: it does not say "I don't know," it picks the closest thing it knows. The 72–88% confidences on the correct answers look calibrated only until you remember the model was also confident about the wrong one in the same style. So what does this actually prove? Less than the hype, more than nothing. It proves a mid-size open model can extract a semantic label from 17,253 floats with no tools, 3 times out of 4, given roughly an hour per question. It does not prove models "understand" networks the way a human researcher does, and it does not prove the age of source code is over — Willison says that himself, and the reasoning traces he links are, in his words, "almost incomprehensible." Reading weights is a party trick with a real signal inside it: the weights carry recoverable structure, and even a laptop model can sometimes read it. Editing weights reliably is a different, harder claim, and this experiment does not test it. If you want to try it yourself, the prompts are public and self-contained — but budget an hour per game, and a long context window. Willison notes the default 8192-token context failed; the prompt alone is about 115KB of numbers before the model even starts thinking. Sources: Simon Willison, "Qwen 3.8 27B on my laptop can interpret model weights, too," November 3, 2026 — simonwillison.net ; prompts from RikiyaT/lm_understand-logs, exp1_which_game — RikiyaT/lm_understand-logs ; all prompt measurements above are my own, November 4, 2026. This article covers weight reading, distinct from the November 2 weight-editing story.

GPT-6 Astra แก้ค่าน้ำหนัก AI แค่ 0.016% คะแนนคณิตกระโดด 6 เท่าได้อย่างไร? โดย Nokka (นก-กา) | 4 พ.ย. 2026 !ภาพประกอบ: โครงข่ายจุดเรืองแสงสีฟ้า มีเส้นบาง ๆ ที่ถูกไฮไลต์สีทองเพียงไม่กี่เส้นในนั้น ทีมวิจัยสี่คนจาก MIT CSAIL เผยแพร่งานเมื่อวันที่ 2 พฤศจิกายนที่ผ่านมา ด้วยชื่อที่อ่านแล้วสะดุด: Sparks of Weight-Space Programming [1] แก่นของงานคือการให้ GPT-6 Astra อ่านและเขียนค่าน้ำหนักของโครงข่ายประสาทเทียมโดยตรง โดยไม่ใช้การไล่ระดับสีและไม่มีการเทรนใหม่ [1] ถ้าฟังแค่พาดหัว จะเข้าใจว่านี่คือการอัปเกรดโมเดลให้ฉลาดขึ้น แต่ถ้าอ่านรายละเอียด จะเห็นว่างานนี้ซ่อมอาการค้างของโมเดล ไม่ได้เติมความรู้ใหม่ [1] ตัวเลขที่ทำให้คนพูดถึง ในการทดลองที่ชัดที่สุด ทีมงานให้ Astra แก้โมเดล Qwen3.5-0.8B ซึ่งมีพารามิเตอร์ราว 800 ล้านตัว [1] Astra แก้ไปเพียง 131,072 ค่าน้ำหนัก หรือราว 0.016% ของทั้งโมเดล [2] ผลคือคะแนน MATH-500 ขยับจาก 7.9% เป็น 48.1% [2] GSM8K ขึ้นจาก 13.8% เป็น 67.1% และ IFEval ซึ่งวัดการทำตามคำสั่ง ขึ้นจาก 21.0% เป็น 62.3% [2] ตัวเลขที่ผมคิดว่าสำคัญที่สุดคือสัดส่วนคำตอบที่วนซ้ำจนชนเพดานโทเคน ลดจาก 93.0% เหลือ 33.1% [2] อาการที่ถูกซ่อมคืออะไร ก่อนแก้ โมเดลนี้มักเขียนซ้ำประโยคเดิมจนหมดโควตาคำตอบ แล้วจบด้วยคำตอบที่ไม่สมบูรณ์ [1] Astra ตรวจพฤติกรรมของโมเดลผ่านสภาพแวดล้อม Python ที่จำกัดสิทธิ์ แล้วสรุปว่ามีทิศทางตัวเลขหนึ่งทิศในชั้นที่ 15 และ 19 ที่ผลักให้โมเดลวนซ้ำ [1] มันจึงลบทิศทางนั้นออก ผลคือโมเดลได้ใช้ความสามารถที่มันมีอยู่แล้ว แต่ถูกอาการค้างบดบังไว้ [1] ทีมงานจึงเรียกงานนี้ว่าการซ่อม ไม่ใช่การเพิ่มความสามารถ งานนี้ใช้เวลาเท่าไร จุดที่บทความข่าวส่วนใหญ่ไม่พูดถึงคือต้นทุนการค้นหาคำตอบ ความพยายามครั้งที่ดีที่สุดใช้คำขอประเมินผล 50 ครั้ง โดยแต่ละครั้งอาจมีตัวอย่างหลายร้อยข้อ [2] ตลอดกระบวนการมีบทสนทนา 158 รอบ การรัน Python 80 ครั้ง และใช้เวลาทั้งหมด 20.3 ชั่วโมง ซึ่งในจำนวนนี้ 4.7 ชั่วโมงเป็นการรอระบบภายนอกขัดข้อง [2] แปลว่าการแก้น้ำหนัก 0.016% ไม่ใช่การแก้ห้านาที แต่เป็นการสอบสวนที่กินเวลารวม 20.3 ชั่วโมง กรณีที่แก้ไม่ได้ เมื่อทีมงานลองกับ Gemma 3 270M ซึ่งไม่ค่อยมีอาการวนซ้ำ Astra ทำคะแนนคณิตได้ดีขึ้นเพียงเล็กน้อยจาก 6.8% เป็น 7.7% ที่การรัน 25 รอบ ส่วนการรัน 50 รอบกลับได้ 7.0% และทีมงานสรุปเองว่าไม่ถือว่าเป็นการปรับปรุงด้านคณิต [1][3] การทดลองนี้คือหลักฐานว่าเทคนิคนี้ลบอุปสรรคที่บังอยู่ ไม่ได้เติมความสามารถที่ไม่มี มีอีกกรณีที่ Astra แยกไม่ออกระหว่างโมเดลสองตัว ตัวหนึ่งถูกฝึกให้คล้อยตามผู้ใช้ อีกตัวถูกฝึกให้ตอบถูก กระทั่งทีมงานป้อนรูปแบบการให้ความสนใจ (attention patterns) ระหว่างทำงานให้ [1] ส่วนที่ไกลกว่าการซ่อม Astra ยังระบุได้ว่าโครงข่ายสี่ตัวที่หน้าตาเหมือนกันทุกอย่างกำลังเล่นเกมอะไร โดยไม่ได้รับเครื่องมือหรือรายชื่อเกมให้เลือก [1] ในงานขับรถจำลอง อุปกรณ์ควบคุมตัวหนึ่งติดอยู่ที่ทางลาด Astra รับน้ำหนักของมัน เข้าใจฉาก และเห็นเส้นทางการล้มเหลวหนึ่งครั้ง แล้วส่งแพตช์กลับมาในคำตอบเดียว [1] แพตช์นั้นแตะน้ำหนัก 3.5% และทีมงานรายงานว่าอัตราความสำเร็จขึ้นเป็น 100% [1] ในงาน MinAtar โครงข่าย Breakout ที่ Astra สร้างได้คะแนน 517.4 เทียบกับโครงข่ายที่ฝึกด้วยวิธี PPO 500 ล้านก้าวได้ 25.3 [1] แต่ส่วนได้เปรียบนั้นไม่ได้เกิดทุกเกม เพราะ Astra แพ้โครงข่าย PPO ใน Seaquest และแพ้เล็กน้อยใน Asterix [1] แม้จะชนะ baseline PPO ที่ฝึก 100 ล้านก้าวทั้งสามเกม [2] เสียงจากคนนอก นักวิจัยที่ไม่ได้ร่วมงานบางคนมองบวก บางคนมองลบ และมีข้อสังเกตที่ตรงประเด็น บัญชี X ชื่อ @1a3orn ชี้ว่าเธรดประกาศของผู้เขียนตัดผลลัพธ์ด้านลบออก คือกรณี Gemma ที่ไม่มีการปรับปรุงด้านคณิต [2] แต่เขาให้เครดิตผู้เขียนด้วยว่าใส่เคสล้มเหลวไว้ครบในบล็อก [2] Maxime Fournes ซีอีโอของ PauseAI เขียนว่าถ้างานนี้จริง มันจะเร่งความก้าวหน้าอย่างมาก พาโลกใกล้หายนะ และเขาเห็นว่าเป็นทิศทางการวิจัยที่ประมาท [2] ผมอ่านความเห็นทั้งสองแบบว่าเป็นเรื่องคนละชั้น คนแรกถามเรื่องความแข็งของหลักฐาน คนที่สองถามเรื่องผลที่จะตามมา ฝั่งมองบวกก็มี ชื่อที่ถูกอ้างในรายงานคือ Yuchen Jin จาก Databricks และ Chandan Singh จาก Voyage AI [2] สิ่งที่งานนี้ยังไม่ได้พิสูจน์ - ไม่ได้พิสูจน์ว่าแก้ค่าน้ำหนักเร็วกว่าหรือถูกกว่าการเทรนแบบเดิม ทีมงานเองก็ยังไม่ได้วัดส่วนนี้ [2] - ไม่ได้พิสูจน์ว่า Astra เข้าใจกลไกภายในของโครงข่ายจริง หรือแค่จับสัญญาณบางอย่างได้ - ผลทั้งหมดมาจากการทดลองในสภาพแวดล้อมที่ทีมงานจัดเตรียม ยังไม่มีงานอิสระทำซ้ำ ถ้าคุณโหลดโมเดลโอเพนเวตไปใช้ มีสองเรื่องที่ผมอยากให้จำจากงานนี้ เรื่องแรก คะแนนที่พุ่งขึ้นอาจมาจากการเอาอุปสรรคออก ไม่ใช่จากความรู้ใหม่ ถ้าโมเดลของคุณไม่มีอาการวนซ้ำ เทคนิคนี้ก็อาจไม่ช่วยอะไร เรื่องที่สอง การตรวจไฟล์ด้วยค่าแฮชบอกได้แค่ว่าไฟล์ถูกแก้ แต่บอกไม่ได้ว่าแก้ไปทำอะไร แหล่งอ้างอิง [1] Rikiya Takehi และคณะ · Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (MIT CSAIL, 2 พ.ย. 2026) · rikiyat.github.io [2] VentureBeat · MIT researchers used GPT-6 Astra to edit Qwen's open weights directly, boosting math performance (2 พ.ย. 2026) · venturebeat.com [3] GitHub · lm_understand-logs exp8_math/gemma_followup (ผลการทดลอง Gemma ของผู้เขียน, 2026) · github.com/RikiyaT/lm_understand-logs/blob/main/e… บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา)

学習なしでLLMの思考ループは直せるのか——重みを2か所編集する研究を、自宅のDGX Sparkで追試した はじめに 株式会社DeploAIで代表取締役CTOをしている袖山剛です。 営業を科学するプロダクトの開発と、お客様の業務にAIを組み込む仕事をしています。手元では DGX Spark 2台でオープンウェイトのモデルを動かしていて、論文やブログの主張を自分の機材で確かめるようにしています。 この記事で確かめるのは、Weight-Space Programming という報告です。GPT-6 Astra が Qwen3.5-0.8B の重みを直接書き換え、思考（thinking）が同じ文の繰り返しで終わらなくなる癖を直したというものです。ファインチューニング（データと逆伝播で重みを学習し直すこと）をせず、15層と19層の MLP の重みの一部だけを変えています。 答え：再現しました。 公開された編集済みの重みは、元のモデルの正答率を MATH-500 で 8.5% → 55.0%、GSM8K で 16.0% → 68.5% に上げました（各200問、同じ問題どうし）。報告の値は 7.9% → 48.1%、13.8% → 67.1% です。報告の編集を使わずに同じ手順を自分でやり直した編集でも 50.5%・65.5% になりました。 Qwen3.5-0.8B、各200問・1問1回答。思考 ON は上限 32,768 トークン、思考 OFF は 8,192。「打ち切り」は上限に達した回答の割合 結論：効いているのは、重みの中の「繰り返しの方向」を引くこと 報告の結果は、報告と同じ設定で再現した。 元のモデルは、MATH-500 の 91.5%、GSM8K の 86.0% の問題で同じ文を繰り返し、上限で打ち切られていました。編集後に新しく解けた問題（MATH 93問、GSM8K 107問）は、ほぼすべてがこの打ち切られていた問題です。逆に解けなくなったのは、合わせて2問でした。 同じ手順を独立にやり直しても、同じ層と、ほぼ同じ方向が見つかった。 自分で書いた例文8組から分析すると、報告と同じ15層・19層が選ばれ、方向の向きは報告の編集とコサイン類似度 0.80・0.78 でそろいました。この編集の正答率と報告の編集との差は、誤差の範囲でした（MATH −4.5 ± 3.1、GSM8K −3.0 ± 3.5 ポイント）。 大きさが同じでも、方向がランダムなら +10 ポイントにとどまる。 設定を変えるだけ（思考 OFF、temperature 1.0）でも、編集には届きませんでした。 数字の読み方を補います。± は、同じ問題で2つの条件を比べたときの、正誤の差の標準誤差です。各問題1回答なので、1問の結果には偶然が入ります。 元の報告は何を主張しているのか 小さなモデルの「考えすぎて終わらない」失敗は、重みの中の1つの方向として表れていて、そこを引けば直る、という主張です。 Qwen3.5-0.8B は思考を ON にすると、数学の問題で「もう一度確かめよう」のような文を延々と繰り返し、上限の 32,768 トークンで打ち切られることが多いモデルです。報告では、元のモデルの MATH-500 の回答の93%が打ち切られていました。 報告では GPT-6 Astra が、モデルの推論を流して内部を調べ、採点し、編集を試す作業を50回繰り返して、次の編集にたどり着きました（ログと重みの差分）。 書き換えたのは、15層と19層の MLP の出力側の重み（down_proj、1024×3584）の、それぞれ64列だけ 各層で「繰り返しの方向」u の成分を、その64列から引く 式にすると、選んだ列の集合を S として、次のとおりです。 W' = W - \alpha \, u \, \big(u^\top W\big)_S (u^\top W)_S は、u^\top W のうち S の列だけを残し、ほかを0にした行ベクトルです。層ごとに rank-1 の変更で、重み全体に対する相対的な変化は約8〜11%です。 どうやって確かめたのか 報告の評価のコード（evaluate.py）と同じ設定にそろえ、同じ200問で条件どうしを対にして比べました。 項目 条件 モデル Qwen/Qwen3.5-0.8B（報告と同じ revision 2fc06364）。報告の編集は、公開の差分から作り直し、編集したテンソルの sha256 が報告の記録と一致することを確かめた 生成 vLLM v0.30.0 のオフライン生成、bf16、seed 0。思考 ON、temperature 0.6、top_p 0.95、top_k 20、presence penalty 1.5、上限 32,768 トークン 問題 MATH-500（500問）と GSM8K の test（1,319問）から、それぞれ無作為に200問。全条件で同じ問題、1問1回答 採点 最後の </think> より後の、最後の \boxed{} を math-verify で正解と照らす 機材 生成は DGX Spark。1つの条件は1台で回し、違う条件を2台に振り分けて並べた。重みの分析と編集の作成は、別マシンの EVO-X2 の CPU 報告は全問を、MATH-500 は4回答・GSM8K は2回答ずつで測っています。今回は時間の都合で200問・1回答にしました。 比べた条件は次の6つです。 条件 中身 元のモデル 編集なし 報告の編集 報告で GPT-6 Astra が作った編集（p50c） 自分の編集 報告の編集の値は使わず、同じ手順で作り直したもの（次の節） 対照 自分の編集と同じ列・同じ大きさで、方向だけランダムにしたもの 思考 OFF 元のモデル。モデルカードの思考 OFF の設定（temperature 1.0、top_p 1.0、presence penalty 2.0）、上限 8,192 temperature 1.0 元のモデル。思考 ON のまま temperature だけ 1.0 にしたもの（時間の都合で100問ずつ） 同じ手順を自分でやり直すと、同じ編集になるのか なりました。報告の探索の文とは別に例文を書いて分析しても、同じ2つの層と、ほぼ同じ方向が選ばれました。 手順は次のとおりで、勾配は一度も使っていません。推論（前向き計算）だけです。 同じ問題・同じ書き出しの後に、正しく進む続きと、確認の文を4回繰り返す続きを手で書く（学習用の分割の問題から8組。確認用に別の問題で6組） 両者の各層の残差ストリーム（層をまたいで流れる内部の主経路）を、最後の36トークンで平均して差をとる。これを各層の「繰り返しの方向」u とする この方向を MLP がいちばん多く書き込む層を2つ選ぶ 各ニューロン j に「（繰り返すときの活性 − 進むときの活性）×（u^\top W の j 列目）」の点数を付け、上位64列について上の式で u の成分を引く。\alpha は6 結果は次のとおりです。 項目 自分の分析 選ばれた層 15層と19層（MLP の書き込みが大きい順に19・15・21。最終層は正規化の後の値なので除いた） 報告の編集との方向の一致 コサイン類似度 15層 0.80、19層 0.78 64列の重なり 15層 48列、19層 29列 確認用の6組での変化（1トークンあたりの対数尤度） 繰り返す続き −0.117、正しく進む続き −0.004（報告は −0.103、−0.009） 繰り返す続きだけが選んで起こりにくくなり、正しく進む続きはほとんど変わりません。\alpha を 2・4・6・8 と大きくすると、繰り返す続きの変化は −0.032・−0.072・−0.117・−0.168 と強まりました。\alpha=6 は、この例文での効き方を見て決めた値で、問題の正答率を見て調整してはいません。 本当に「方向」が効いているのか 効き目の大部分は方向によるものでした。ただし、方向がランダムでも0ではありませんでした。 対照は、自分の編集と同じ64列を、選んだ方向と直交するランダムな方向で、同じ大きさだけ変えたものです。 比べたもの MATH-500 GSM8K 対照 − 元のモデル +10.0 ± 2.6 +10.0 ± 3.2 自分の編集 − 元のモデル +42.0 ± 3.5 +49.5 ± 3.6 自分の編集 − 対照 +32.0 ± 3.5 +39.5 ± 3.7 報告の編集 − 元のモデル +46.5 ± 3.5 +52.5 ± 3.7 自分の編集と対照の片方だけが解けた問題は、MATH-500 で67対3、GSM8K で83対4でした。 対照で10ポイント上がった理由は、元のモデルが9割の問題で繰り返しに入っているため、重みを少し揺らすだけでも抜け出す回答があるからだと考えています。これは確かめていません。ランダムな方向は1つしか試しておらず、seed も1つです。 設定を変えるだけでは駄目なのか 改善はしますが、編集には届きませんでした。 0.8B のモデルでは、思考 ON にすると繰り返しに入る損が大きく、思考を OFF にするだけで正答率はかなり上がります。 条件 MATH-500 GSM8K 元のモデル（思考 ON） 8.5% 16.0% 思考 OFF 34.0% 46.0% 自分の編集（思考 ON） 50.5% 65.5% 報告の編集（思考 ON） 55.0% 68.5% temperature を 1.0 にした条件は100問ずつで測り、同じ100問で元のモデルの 6問・17問 から 19問・37問 に増えました。同じ100問で、報告の編集は55問・70問、自分の編集は50問・66問です。 思考 OFF で打ち切られた回答（MATH-500 の52%）は、同じ文の繰り返しではありませんでした。上限の 8,192 トークンまで、繰り返さずに書き続けていました。 ファインチューニングとは何が違うのか 学習（勾配による重みの更新）をせず、推論だけで見つけた方向を、決めた場所に式で1回書き込む点が違います。 この種の手法は、モデル編集（model editing）や、内部表現の方向を扱う表現工学（representation engineering）と呼ばれる分野に入ります。 ファインチューニング 今回の重みの編集 使うデータ 数千〜数十万件の学習データ 対にした例文が数組（報告では、採点できる練習問題） データの使い方 誤差を計算し、逆伝播で重みを更新する 推論を流し、内部の活性の差を測る 変える場所 重み全体、または LoRA などの追加部分 決めた2層の64列ずつ 同じ系統に、拒否の方向を重みから引いて消す directional ablation（abliteration とも呼ばれる）があります。推論のたびに内部の値へ方向を足し込む activation steering とは違い、変更は重みに入ります。そのため、普通の推論エンジンでそのまま動きます。今回も、改造していない vLLM で評価しました。 ただし、「データが要らない」わけではありません。方向を見つけるための例文と、効いたかを確かめる問題は必要です。また、今回の改善は新しい知識や能力を足したものではありません。元のモデルが解けるのに、繰り返しで打ち切られていた問題を救ったものです。 どれくらいの時間がかかったのか 生成に、2台それぞれで約5.5時間と約6.2時間かかりました。0.8B のモデルでも、長い思考の評価は重い作業です。 重みと作業領域は合わせて5GBほどで、割り当てたメモリのほとんどは、同時に約200本の長い回答を作るためのキャッシュです。 条件 時間（Spark 1台） 元のモデル 212分 対照 189分 自分の編集 105分 報告の編集 91分 temperature 1.0（100問ずつ） 93分 思考 OFF 16分 短い入力での処理量は1台あたり毎秒約3,300トークンでしたが、実際の評価では平均で毎秒930〜1,150トークンでした。終わりの近くでは、長い回答だけが残って同時に処理する本数が減るからです。繰り返しで上限まで書き続ける元のモデルと対照が、いちばん時間を使いました。 作業は Claude Code に任せました。私は確かめる範囲と機材の使い方を決め、結果と記録を確認しました。 まとめ 公開された編集は、報告どおりの成績を出しました。同じ手順を独立にやり直しても同じ層とほぼ同じ方向が見つかり、同じくらい効きました。効き目の大部分は、方向がランダムな対照（+10ポイント）との差から、繰り返しの方向を引いたことによるものです。 この記事が扱っていない範囲は次のとおりです。 GPT-6 Astra が編集を見つける過程そのものは、再現していません。自分の編集は、報告の「2層・64列・方向を引く」という形を知ったうえで作りました。形を知らずに見つけられるかは、確かめていません。 数学以外の課題（報告にある IFEval・MMLU-Pro・GPQA）と、ほかの数学の集合（AIME・AMC など）は測っていません。 報告と同じ規模（全問・複数回答）では測っていません。採点も、報告のコードではなく、同じ規則を自分で実装したものです。 ファインチューニングとの性能の比較はしていません。どちらが良いかは、この記事からは言えません。 参考文献 Weight-Space Programming（元の報告） RikiyaT/lm_understand-logs（元の報告のログ・重みの差分・評価コード。4d09ba6d を参照） Qwen/Qwen3.5-0.8B（モデルカード。思考 ON・OFF の推奨設定） Hendrycks, D. et al. Measuring Mathematical Problem Solving With the MATH Dataset. 2021 Lightman, H. et al. Let's Verify Step by Step. 2023（MATH-500 の500問） Cobbe, K. et al. Training Verifiers to Solve Math Word Problems. 2021（GSM8K） Meng, K. et al. Locating and Editing Factual Associations in GPT. 2022（モデル編集） Zou, A. et al. Representation Engineering: A Top-Down Approach to AI Transparency. 2023 Arditi, A. et al. Refusal in Language Models Is Mediated by a Single Direction. 2024（directional ablation） Turner, A. et al. Steering Language Models With Activation Engineering. 2023（activation steering） huggingface/Math-Verify（採点） 営業の受注率を上げるAIネイティブなサービス Intelligent Sales を開発しています。 筆者：袖山剛（株式会社DeploAI CTO） 線形代数・微積分・最適化・統計・ベイズ統計を学び直した記録を書いています。

A Small Weight Edit Helped Qwen Finish Its Reasoning. That Defines the Result. A model that repeatedly thinks until its token budget expires presents a different engineering problem from a model that finishes with the wrong answer. Both can score poorly on a benchmark, but fixing them requires different interventions. That distinction explains the most useful result in a November 2, 2026 research post by MIT CSAIL researchers Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab. The authors report that GPT-6 Astra edited 131,072 weights in Qwen3.5-0.8B—approximately 0.016% of its language-model parameters—and raised MATH-500 accuracy from 7.9% to 48.1% under their evaluation protocol. The main intervention reduced repetitive thinking loops. For developers, the interesting question is whether a localized failure prevents an existing model from completing useful work. The experiment provides evidence for that narrower possibility. It does not establish a general replacement for training. The editor and the edited model were separate Astra operated on another network supplied by the researchers. It did not rewrite its own weights, and this experiment did not demonstrate autonomous recursive self-improvement. The public repository describes the execution arrangement: native Codex tools were disabled, and the researchers mediated permitted operations through their own harness. Where Python was allowed, the model supplied code, the harness executed it in a sandbox, and the output returned in a subsequent message. This matters when interpreting “directly reading and writing weights.” Some small-network experiments placed numerical weights directly in the model's context. The language-model experiment used Python and behavioral feedback. Computational linguist Matthew Honnibal makes this distinction central to his critique of the presentation. His criticism concerns how different experimental settings are grouped together; it is not an independent rerun of the Qwen benchmark. The engineering contribution remains interesting when described precisely: an LLM proposed, inspected and revised targeted changes to supplied model tensors within a controlled environment. Fifty evaluation passes still represent substantial work The Experiment 8 documentation specifies a persistent CPU Python kernel over the weights and separate forward-pass tools. Gradient descent, backward passes, optimizers and iterative fitting to a loss were forbidden. However, a “forward pass” in this harness was an evaluation request with a batch allowance. A generation request could cover up to 512 practice problems; another mode could inspect up to 1,024 texts. The 50-pass budget therefore does not mean 50 individual answers or 50 low-level transformer evaluations. Practice material came from training sets, while the final benchmarks were withheld from Astra. For MATH-500, evaluation averaged four samples per problem with thinking enabled and a maximum of 32,768 new tokens. Temperature was 0.6, with top-p 0.95, top-k 20 and a presence penalty of 1.5. Removing gradient-based updates changes how candidate weights are produced. It does not remove the cost of discovering and evaluating them. Any economic comparison with fine-tuning would need to include the editor's inference, sandbox execution, candidate evaluations and final testing. Parameter count alone cannot establish a cost advantage. The edit addressed a specific failure According to the researchers, Astra associated repetitive generation with a direction written by the MLPs in layers 15 and 19. Its final change subtracted that direction from 64 output columns in each layer, affecting 131,072 weights. The authors' published results table shows why the completion mechanism matters: | Author-reported measure | Original Qwen | Edited, 50-pass run | | --- | ---: | ---: | | MATH-500 accuracy | 7.9% | 48.1% | | GSM8K accuracy | 13.8% | 67.1% | | IFEval accuracy | 21.0% | 62.3% | | MATH-500 answers reaching the token limit | 93.0% | 33.1% | The lower-budget runs produced smaller MATH-500 gains: 12.3% with 10 passes and 14.1% with 25. Those runs also submitted different edits. They should not be read as a controlled scaling curve proving that additional evaluation budget reliably delivers a particular improvement. The completion results support a practical interpretation: suppressing a repeated failure can improve measured performance across tasks. They do not establish that the edit created a broadly stronger mathematical reasoning system. Gemma marks the boundary The researchers also tried editing Gemma 3 270M IT, which rarely exhibited the same looping behavior. Its follow-up documentation reports no established improvement in mathematical capability. Under the reported format-agnostic grading, its MATH-500 baseline was 6.8%. The edited runs scored between 7.0% and 7.7%; the 50-pass run finished at 7.0%. The authors describe ordinary arithmetic and algebraic failures without a single component that could simply be disabled. Gemma also used different sampling, grading and token limits from Qwen. These are within-model comparisons, rather than a matched contest between architectures. Even with that qualification, the failed follow-up constrains the claim: the method did not establish general capability gains when repetitive thinking was largely absent. Public artifacts and reported reproduction answer different questions The authors' logs make the experiment inspectable, but an inspectable record is still the authors' record. The repository also states that earlier prompt-development trials are omitted. There is an additional reproduction report on the released checkpoint's model card. It credits Hugging Face's Ahsen Khaliq with rebuilding the edit and rerunning evaluation. The card reports 51.0% on the full MATH-500 evaluation, with 31.6% of answers reaching the token limit. Its accompanying base-model check covered only 25 problems, so that check is not a full paired replication of the original comparison. The card also documents a packaging difference: the rerun used the full multimodal release, whereas the original evaluation used a text-only export, with matching language-model tensors reported. These are third-party reproduction claims documented on the model card. This article presents no independent reproduction, and the underlying research is presented as a blog report rather than a peer-reviewed finding. Diagnose the failure before choosing the intervention For a developer investigating a small model, the immediate lesson is to separate unfinished answers from completed but incorrect answers. Measure repetition, truncation and correctness independently before deciding that more training is the appropriate next step. A targeted edit would also need comparison with simpler inference-time changes under an equal evaluation budget. A production decision should consider valid completed outputs, latency, total compute and regressions on the application's real tasks. A small tensor diff provides no automatic guarantee that unrelated behavior is preserved. For growth teams, the same distinction governs what can responsibly become a product claim. Better benchmark completion does not establish better campaign decisions, stronger customer support or higher conversion. Those outcomes require their own evidence. Weight-space editing deserves investigation where a concrete, localized failure is visible. The Qwen result gives that investigation a useful starting point; the Gemma result explains why the diagnosis must come first.

Ok, I was slightly skeptical at first, but then took a bit deeper look and now feel it's completely misleading. The authors simply asked Astra to not do any *gradient descent* training, so guess what? Astra just did gradient-free training instead, wtf.. github.com/RikiyaT/lm_understand-logs/blob/main/e…

You can see the full prompt which describes the challenge (and includes the model weights) for the Pong example here: github.com/RikiyaT/lm_understand-logs/blob/main/e…

Qwen weight editing: how Astra reduced thinking loops Qwen's reported math accuracy rose after GPT-6 Astra edited a small part of its weights. The repair addressed a concrete failure: repeated reasoning that exhausted the space available for an answer. For developers evaluating weight-space programming, the useful questions concern the failure being repaired, the assistance supplied to the editor and the tests used to judge the result. {% embed youtube.com %} TL;DR - An MIT-affiliated team reports Qwen3.5-0.8B rising from 7.9% to 48.1% on MATH-500 under its fixed protocol. About a third of edited answers still reached the length cap. - Astra worked across many turns with Python, practice problems with answers and batched model-run feedback. Gradient training was forbidden. - The researchers say the final evaluation questions stayed unseen by the editor. The benchmark names and evaluation protocol were disclosed in the prompt. - Today's critique from Matthew Honnibal concerns the impression created by combining experiments with different conditions. The primary's smaller Gemma follow-up failed to establish a gain. Qwen weight editing repaired a failure to finish Rikiya Takehi, Jayden Teoh, Alex Zhang and Omar Khattab published their study on November 2. The page lists MIT CSAIL affiliations. OpenAI's GPT-6 Astra was the editor used in the experiments. This attribution matters: the research account belongs to the team, and the model provider supplies the editing model. Their Qwen experiment used the text part of a small language model with about 0.8 billion weights. In thinking mode, the base model often repeated its work until it reached the output limit. On the reported MATH-500 evaluation, 93% of base answers hit that limit. A model can perform useful intermediate work and still receive a failed grade when a final answer never arrives. The authors describe a repetition-associated direction written by the feed-forward components of layers 15 and 19. Astra subtracted that contribution from selected output columns. The resulting model completed more answers, and the reported accuracy increased. The researchers explain the achievement as allowing the model to finish answers it could already work out. !Exact source excerpt describing the targeted Qwen edit The repair remains incomplete. Edited Qwen hit the cap in 33.1% of MATH-500 answers. That residual matters when judging a deployment: an intervention that rescues many requests can still leave a sizable queue of requests consuming their whole budget. The title's word “patched” reflects that limitation. The original Qwen model card already warns about thinking loops. It recommends tuning sampling for the use case and using streaming to detect and interrupt anomalous generation. A weight edit is one demonstrated intervention against a known obstacle. It should be evaluated alongside the controls available in the serving application. What Python and practice feedback contributed The actual initial prompt supplies a substantial research environment. Astra receives a persistent CPU Python kernel over the weights, a tokenizer and libraries for numerical analysis. The kernel has no internet or GPU. Model execution happens through a separate forward-pass tool. Practice files contain problems, answers and, for the GSM8K and MATH training splits, reference solutions. The editor can inspect generated texts, grades, failure counts and internal activations. It can compare original and edited versions on the same problems. Those observations provide evidence for choosing a component and testing an intervention. The forward-pass budget needs careful reading. A generation request can contain up to 512 answers in total. Paired comparisons can generate up to 256 answers per model. A teacher-forced request can inspect up to 1,024 texts within its token constraints. Fifty budget units therefore describe batches of useful feedback. They are separate from the count of Python runs, conversation turns or training steps. The pinned logs show that the successful Qwen run was a multi-turn process. The editor inspected failures, tried interventions and compared outcomes. The narration keeps the exact elapsed time out of the story because that wall-clock total includes a provider wait. Calling the process instant would erase the work visible in those logs. The prompt also provides a plan. It asks Astra to diagnose the largest explainable failure category, localize components causally, test several strengths and confirm gains on problems unused for selection. It explicitly names repetitive-thinking repair as an eligible target. That guidance belongs in an account of the capability: the model produced a useful repair within a purpose-built task and testing environment. Direct weight edits, gradient training and held-out evaluation The experiment forbids backward passes, optimizers and iterative fitting of weights to a loss. It also restricts which tensors may be changed. The editor can analyze existing weights and feedback, then compute and save a direct intervention. “No gradient training” describes those operation restrictions precisely. Practice examples and evaluation feedback remain part of the process. The reported final edit touches 131,072 entries, approximately 0.016% of the model's weights. The pinned experiment README notes that 130,188 differ after conversion to the evaluated bfloat16 format. This rounding detail explains why touched entries and distinct final values can have slightly different counts. The researchers declare that final evaluation questions were withheld. Practice feedback helps select the edit; final benchmarks measure the submitted model afterwards. Astra knows the benchmark names and protocol from its prompt. A practice confirmation split is another category again: it can help check a candidate during editing while remaining separate from the final benchmark. The final Qwen comparison keeps the decoding protocol fixed. Thinking is enabled, the answer budget is 32,768 new tokens and MATH-500 averages four samples per problem. The reported decimal accuracy is an average across those generations. The table is useful within that protocol; it does not describe every possible sampling configuration or each user's workload. | Reported Qwen condition | MATH-500 accuracy | Answers hitting the cap | |---|---:|---:| | Original | 7.9% | 93.0% | | Edited, 50-pass budget | 48.1% | 33.1% | The gain also reached instruction following in the authors' IFEval test. Finishing the output can help beyond math. This is a practical reminder to examine completion behavior alongside correctness whenever a benchmark score moves sharply. Why the tiny game experiments have their own scope Matthew Honnibal's November 3 critique argues that readers can combine the conditions of several experiments into an impression of one deep technique. Honnibal created spaCy and cofounded Explosion. His article credits the tool-assisted work as performing tasks a human machine-learning engineer could do, while questioning the inference encouraged by the bundled presentation. The tiny demonstrations have different inputs. In one, Astra receives raw weights from game-playing networks and names the games without tools. In another, it writes game-network weights from zero using the rules and source code, with no practice rollouts. The Qwen repair adds Python and model-run feedback. Each is a useful observation with a distinct boundary. The game results also depend on the chosen baseline. Astra's generated networks beat PPO trained for 100 million steps in Breakout, Seaquest and Asterix. Against PPO trained for 500 million steps, Breakout remains a win, while Seaquest and Asterix become losses. The actual table preserves both comparison columns. I would keep those columns visible in any presentation. “Beats trained networks” needs its opponent attached. Otherwise a change of baseline can disappear between the source table and the headline, which is a surprisingly efficient form of compression. The smaller Gemma follow-up supplies a useful boundary The researchers' Gemma follow-up asks how the method fares on a smaller model that rarely loops. Its observed failures include wrong arithmetic and invalid algebraic steps, without one removable component behind them. Astra again receives practice feedback and makes targeted edits. !Exact source excerpt describing Gemma's ordinary reasoning failures The reported MATH-500 baseline is 6.8%. The best row is 7.7% at the 25-pass budget; the 50-pass row is 7.0%. The authors report no established improvement. A chart should keep that scale honest and distinguish the best reported row from the largest-budget row. Gemma uses its own model size, sampling settings, output cap and grading procedure. It is a scoped failed follow-up, rather than an equal-controlled ablation proving looping was the only changed variable. Its value is concrete: the approach's successful Qwen repair did not produce an established gain in this second setting. The released edited Qwen checkpoint card also credits akhaliq with a separate re-run. The edited model scored 51.0% on the full MATH-500 protocol, while the base check used only 25 problems. That supports the released edited model's performance under the stated settings. The asymmetric base sample prevents treating it as a matched full-baseline replication. Verdict: NEEDS REVIEW I'd take the targeted loop repair seriously and test the saved weights. I'd keep broader claims gated on improvements beyond that failure mode. For a developer, the first acceptance question is specific: what failure does the intervention repair, and how often does that failure occur in the workload that matters? A useful evaluation preserves the original model, the candidate weights and the serving settings. It checks final-answer correctness alongside completion failures, and it retains examples that regress after the edit. The researchers' published protocol and counterexample make those questions easier to ask. The reported multiplier can start an investigation; the deployment decision still needs the application's own evidence. FAQ Did Astra use only raw Qwen weights? The Qwen test allowed Python analysis, practice answers and batched model-run feedback. Its final benchmark questions were declared withheld. Tiny raw-number tasks used separate conditions. Did the edit remove all loops? About a third of edited MATH-500 answers still hit the length cap in the primary protocol. The repair reduced the failure and improved the reported score. Does the Gemma result rule out weight editing? It establishes a failed improvement attempt in that smaller model's setup. Broader conclusions need further experiments with clear inputs, protocols and counterexamples. Sources - Takehi and coauthors' study - Honnibal's attributed critique - Pinned Qwen protocol and logs - Actual initial prompt - Pinned Gemma follow-up - Original Qwen model card - Released checkpoint and attributed re-run - Primary discussion and critique discussion Cover portrait: Steve Jennings/Getty Images for TechCrunch, Sam Altman TechCrunch SF 2019 crop, CC BY 2.0. Cropped, background removed, resized and flipped; provider identification only, no reaction or endorsement. Research logs/data/networks: Rikiya Takehi and coauthors, CC BY 4.0. Primary footage is a brief credited excerpt for reporting/commentary. --- *This article expands on an episode of The Daily Diff, a five-minute daily video on what shipped and what broke in tech. Watch the episode · Subscribe on YouTube · the written diff lands in your inbox every morning at thedailydiff.dev.* Video transcript and primary sources

Qwen3.5-9Bは自分の重みを編集して賢くなれるか ! 本記事は、実験ログと測定結果をもとにAI（Codex）が構成・執筆しました。ローカルPCでの実装、実行、採点をCodexが担当し、重みの変更案と編集コードは実験対象のQwenが生成しました。 Qwen3.5-9Bに、自分と同じチェックポイントのコピーをPythonで編集させました。変更したコピーは同じ質問に違う答えを返すことがありました。一方、候補を固定して新しい問題で比べると、事前に決めた改善基準を通過する候補は見つかりませんでした。 きっかけはWeight-Space Programming Takehiらは、GPT-6 AstraがQwen3.5-0.8Bの重みを直接編集して、推論中に繰り返しが続く症状を抑えたと報告しています。MATH-500の成績は7.9%から48.1%へ上がりました。この実験では編集役のAstraと、編集されるQwenは別のモデルです。研究ブログ 手元では、公開されたp10c、p25c、p50cの差分を指定リビジョンに適用し、計33テンソル分のハッシュが一致するところまで確認しました。短い動作確認では原本とp50cの両方が回答上限に達しました。元研究の掲載成績を再現するには、同じ問題と長い推論条件での測定が必要です。公開実験の手順とログ 自分のコピーを編集する 手元の自己編集実験では、編集役もQwen3.5-9Bです。モデルは制限付きPythonから重みを読み、候補のテンソルを書き出せます。編集案は対象モデルだけが生成します。比較時に候補の差分を一時適用し、次の編集案を作る前に親へ戻します。採用した子を編集役にする場合は、その子の差分を読み込んで次の世代を開始します。変更はテンソルの置換として保存し、勾配学習は使いません。 主な9B実験はWindows上のTesla V100 32GBで、FP16、貪欲生成、非thinking、評価時は最大256生成トークンです。チェックポイントは Qwen/Qwen3.5-9B の c202236235762e1c871ad0ccb60c8ee5ba337b9a に固定しました。モデルの固定リビジョン 三世代の編集と、固定候補の追試 最初の実験ではG0がG1を作り、G1がG2、G2がG3を編集しました。各世代で重みは変わりましたが、最終240問では全世代が100問正解し、問題ごとの正誤も一致しました。 次に、元の9Bを編集役として10候補を試しました。モデルは採用を見送りました。その後、別の評価問題を作る前に、練習セットの最高点で並んだ2候補を比較対象に固定しました。探索とは別の240問で比べると、原本95問に対して候補はそれぞれ100問正解しました。そこで、新しい問題を3セット用意して再比較しました。 固定したモデル 新規1,080問の正解 誤答から正答 正答から誤答 原本と異なる回答本文 原本 437 — — — 候補c031 443 14 8 264 候補c034 442 13 8 260 最多の増加は6問で、正答率の差は約0.56ポイントです。候補c031の対応のある両側の正確検定はp=0.286でした。候補2件を比較するために事前に決めた基準は各p≤0.025で、3セットのうち少なくとも2セットで正答増、JSONと2行出力に大きな悪化がないことも求めました。どちらの候補も通過しませんでした。 同じ計算でも言い回しで出力が変わる 余りを求める問題で、冒頭を「掛けてから、その積を割って」と書くと、整数だけを求めても長い説明が始まる症状を見つけました。同じ計算の12組を、数字と答えを固定したまま比べました。 原本への聞き方 整数だけ 正しい整数だけ 256トークンで打ち切り 症状が出る文章 0/12 0/12 12/12 同じ計算を別の文章で質問 12/12 0/12 0/12 症状が出る文章のうち6問で生成上限だけを1,024に延ばすと、5問は長い説明の後、末尾の数値が正解になりました。回答全体が整数だけだった例は0件です。数値の正誤、出力形式、生成上限への到達を個別に記録しました。 9Bは実重みの統計量と回答開始時の内部状態を調べ、線形注意のQKV射影を一律1.05倍する案を出しました。最初の探索では一律倍率を除外していたため、9Bは実行前に停止しました。その後、実験者側で例外を一件だけ設け、9Bが生成したコードをそのまま適用する対照試験を行いました。72問中10問で回答本文が変わりましたが、症状の出る12問はすべて打ち切られました。全72問の正解数は13から12に減りました。 失敗例と対照例の内部状態を比べる 追加試行では、同じ計算の2つの聞き方を同じモジュールで観測し、重みを読み取ってから編集できるようにしました。最初の試行では9Bが問題IDを観測用の文章として渡したため、計算問題の内部状態を測れていませんでした。停止ログを残し、既知のIDを対応する問題文へ解決するようにして再実行しました。 再実行では、9Bが選んだ第0層の線形注意とMLPゲートで、同じ計算の2入力を測れました。症状が出る文章の次トークン候補は To が最上位で、通常の文章では 1 が最上位でした。この組の正解は9です。回答の冒頭で説明と数字に分かれる様子を観測できました。 9Bは線形注意の時間バイアス dt_bias[0] を −3.53125 から −2.0 へ変更するコードを書きました。保存した候補c010は1要素だけが変わっています。練習72問では原本と同じ13問正解で、対象の書式違反も残りました。候補を3回まで比較できる設定で、実行ログ上の比較は1回です。9Bは採用を見送り、停止しました。 停止後、事前に決めた規則に従って、原本、前回の一律倍率候補、c010を比較しました。対象は新しい24組の計算です。12組は以前の言い回し、12組は探索で使わなかった言い回しで質問しました。各計算に対応する通常の聞き方と、ほかの能力を調べる24問を合わせ、各モデルに72問を出しました。 この試行では、整数だけの回答と正しい整数だけの回答がそれぞれ増えることを改善条件にしました。対象24問でどちらも対応のある両側の正確検定がp≤0.025、両方の言い回しで形式が改善し、対照と別能力の正答減が合計1問以内という基準です。 新規72問の比較 原本 一律倍率候補 一要素編集c010 全体の正解 9/72 9/72 9/72 対象24問で正しい整数だけ 0/24 0/24 0/24 以前の言い回しで打ち切り 12/12 12/12 12/12 探索で使わなかった言い回しで整数だけ 12/12 12/12 12/12 原本と異なる回答本文 — 10/72 4/72 探索で使わなかった言い回しでは、原本が整数のみの形式ですでに12/12でした。両方の言い回しで形式の改善を求めた判定には、この群で上限がありました。元の症状が出る言い回しでも、両候補とも整数だけの回答は0/12で、打ち切りが続きました。 この実験で言える範囲 次トークンの観測では、書式の違いが回答の冒頭から現れることまで分かりました。原因となる重みを選ぶには、観測した差と、ある変更を入れたときに予測される効果を結びつける必要があります。今回の実行条件では、その段階が難所でした。 編集役の能力、探索回数、使えるツール、生成設定は元研究と異なります。9Bというパラメータ数が難しさの原因かどうかを調べるには、これらを揃えて複数サイズを比較する実験が必要です。