autoharness

Activity, over time

Daily observations from the public event archive.

Attention

Daily stars & forks

Loading attention chart

Star accumulation

Cumulative stars

Loading star accumulation chart

Pull requests

Daily opens & merges

Loading pull requests chart

Conversations

Daily issues & comments

Loading conversations chart

Community

Daily accounts & reviews

Loading community chart

Releases

Daily releases

Loading releases chart

Mentions

10posts · 30d
Nov 30 posts
  1. Thanks to Alexander Kremer and Claudius Seitz for featuring AutoHarness in Repository Radar We appreciate the thoughtful write-up repositoryradar.substack.com tigerless-labs/autoharness

    3 views
  2. DEV · · @holistis

    Check. Pay. Prove. AI agents are starting to spend money. They call tools, pay for answers and rate what they got. Almost nothing checks any of it. A tool can describe itself however it likes, a seller can say it delivered, and a rating can point at nothing. We built the checks. Then we ran them on one real deal: look at the tool, pay, and prove the payment afterwards. The video is the whole run. Below it is every command and every transaction, so you can repeat it and disagree with us on the facts. The video of the whole run is on the original page: tokenizen.nl 1. Check, before the agent pays muraqib-agent-watch starts an MCP server, reads the tools it lists and flags every tool that touches money, files or credentials without stating a safeguard. In the run it looked at our own capacity-attest server and found three tools, each stating its own safeguard. That is a first look at what a tool says about itself. It does not prove the safeguard holds, and it starts the server you point it at, so run it on your own machine. npx muraqib-agent-watch npx -y capacity-attest 2. Pay, with a real transaction A buyer agent sent 0.05 USDC to a seller through x402 on Base mainnet: transaction 0x7160db5e...e7eb, block 52,989,993. The seller is registered as ERC-8004 agent 1085288 from the address that got paid, so the payment address and the agent are the same party. The whole deal cost about three cents in gas. 3. Prove it from the chain Three blocks later the buyer wrote its own rating of the seller into the ERC-8004 reputation registry: transaction 0xa661b2ff...3936, block 52,989,996. The rating carries the payment's transaction hash as its reference. The same hash sits in two places, so the rating is tied to a payment that really happened. Eight checks read it back from the chain. The video shows four: the rater is the payer, the paid address is the agent's bound wallet, the rater is not the agent's owner, and the payment came before the rating. All eight passed. We wrote those checks ourselves, so we also asked someone else to look. AgenticFinanceGraph re-checked the run through a public node, Base's public endpoint, which they do not run, and confirmed the four facts listed above. What we have shipped so far - 33 to 20 to 4: Secrets still leaking in 68 test cases of an open-source AI coding tool with more than 10,000 stars: before, after the maintainers' own fixes, and with our fix (pull request open). (Our pull request: autoharness#278) - 0 of 600: Live x402 services that signed a receipt in our sample of an index of 20,462 resources, when we measured on 15 October. (The measurement: /notes/zero-of-600-x402-services-sign-a-receipt) - 8 of 8: Checks passed on a real payment on Base mainnet. A third party re-checked four of them through Base's public endpoint. (The re-check: erc-8004-contracts#99) - A, 4.2 of 5: Glama's rating for how well agent-receipt-verify describes its tools to an AI agent. (The listing: glama.ai) - 3 tools: Open source and on npm: muraqib-agent-watch, agent-receipt-verify and capacity-attest. (The repositories: github.com/holistis) - #3830: Our pull request on the x402 offer-and-receipt extension is named in the draft x402 specification text (draft pull request 3776, still open). (The draft: x402#3776) What we do not claim - Buyer and seller in this run were both ours. It tests the mechanism. It is not evidence of adoption. - There is no paying customer yet. This is the first public run, and we are looking for the first engineers who repeat it on their own servers and endpoints. - muraqib-agent-watch reads what a tool says about itself. It does not prove the safeguard holds. - Passing checks say the shape of a payment and its receipt is right. They do not say the seller is honest. - None of this is an audit, an approval or a certification. Run it yourself No account and no API key. Each command is the tool as published on npm. npx muraqib-agent-watch <command that starts your MCP server> npx -y agent-receipt-verify <URL of an x402 endpoint> npx -y agent-receipt-verify attempt-identity The first looks at your tools before an agent trusts them. The second checks an x402 endpoint before an agent pays it. The third runs 19 test vectors for the x402 attempt-identity rule. If one of them says something wrong about your server or your endpoint, open an issue. We fix it in public, and we say so. Why we are doing this Money is starting to move between machines. The people who build those machines should not have to take anyone's word for it, ours included. The fastest way to help is to point a tool at your own server or endpoint and tell us what it got wrong. Original with the video: tokenizen.nl

  3. DEV · · @sarantoon

    Autoharness คืออะไร? ชั้น skill ที่ให้ Claude Code เขียนกฎของตัวเอง โดย Nokka (นก-กา) | ตรวจข้อมูล 28 ต.ค. 2026 บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา) !ภาพประกอบ: ชั้นแผ่นบางที่งอกแผ่นใหม่และหลอมแผ่นซ้ำเข้าด้วยกัน มีโพสต์บน X เมื่อ 27 ต.ค. 2026 โดย Brady Long เล่าว่ารีโปหนึ่งเป็นระบบที่ "เรียนรู้เอง" สำหรับคนใช้ Claude Code [1] โพสต์นั้นมียอดดู 43,470 ครั้ง กดใจ 498 รีทวีต 46 และบัญชีมีผู้ติดตามราว 44,700 คน ณ วันที่ผมตรวจ [1] ชื่อของมันคือ Autoharness และจุดขายคือคุณไม่ต้องเขียนไฟล์ SKILL.md เองอีกต่อไป เพราะมันจะเรียนรู้จากงานที่คุณทำจริงแล้วเขียนให้ ฟังดูดีจนต้องไปดูว่ามันทำงานยังไง และตัวเลขที่มันอ้างนั้นมาจากไหน Autoharness คืออะไร Autoharness นิยามตัวเองว่าเป็นชั้น skill ที่เรียนรู้ได้สำหรับ Claude Code [2] ตัวรีโปอยู่ที่ tigerless-labs/autoharness ใบอนุญาต MIT ตอนที่ผมตรวจมี 10,924 ดาว 630 forks issue เปิด 49 รายการ สร้างเมื่อ 9 มิ.ย. 2026 และอัปเดตล่าสุด 27 ต.ค. 2026 [2] หลักคิดของมันคือความจริงข้อหนึ่งที่คนใช้ agent ทุกวันเจอ นั่นคือคุณต้องสอนงานเดิมซ้ำ ๆ เพราะ agent ไม่จำว่าครั้งก่อนคุณแก้มันยังไง Autoharness พยายามปิดช่องว่างตรงนั้นด้วยการเก็บบทเรียนจากบทสนทนาจริง แล้วแปลงเป็น skill ที่โหลดในครั้งถัดไป [2] มันทำงานยังไง hook กับ MCP server ที่ไม่มี daemon สถาปัตยกรรมของมันคือ hook กับ MCP server ที่รันด้วย Python ล้วน ไม่มี dependency ภายนอก และไม่ต้องมี daemon คอยกินเครื่อง [2] คำว่าไม่มี daemon สำคัญ เพราะมันหมายความว่ามันจะทำงานก็ต่อเมื่อคุณเปิด session เท่านั้น ไม่ใช่มีโปรเซสวิ่งตลอด 24 ชั่วโมง วงจรของมันมีสี่จังหวะ - เรียนรู้ เมื่องานใน session ทำจนถึงจุดหนึ่ง มันจะกลั่นบทเรียนออกมาเป็น skill หรือคุณสั่ง /learn เมื่ออยากเก็บทันที [2] - รวม ถ้า skill ใหม่ซ้ำกับของเดิมในสถานการณ์เดียวกัน มันจะพับรวมเป็นอันเดียว และบันทึกว่าใครกลืนใคร [2] - แก้ เมื่อคุณแก้พฤติกรรมของมัน มันจะเขียน skill เดิมใหม่ให้ตรงกับที่คุณต้องการ [2] - ตัด skill ที่ไม่ถูกใช้และไม่มีใครเปิดดูจะถูกเก็บเข้าคลัง และเมื่อคลังโตเกินเพดาน ตัวที่ถูกใช้น้อยที่สุดจะถูกตัดก่อน [2] ทุก session ยังเปิดด้วยดัชนีที่จัดกลุ่ม skill ที่มันเขียนไว้ เพื่อให้ agent เห็นว่าตัวเองมีอะไรบ้าง [2] จุดที่ผมชอบเชิงออกแบบคือมันแตะเฉพาะ skill ที่มันเขียนเอง โดยติดเครื่องหมาย self-authored ไว้ในบันทึก ส่วน skill ที่คุณเขียนหรือติดตั้งเองมันไม่แตะเลย [2] ตัวเลข 42 ถึง 78 มาจากไหน งานของ HAL ไม่ใช่งานของ Autoharness ในหน้าแรกของรีโปมีการอ้างว่า "Same model, different harness" พร้อมตัวเลข 42% ไปเป็น 78% บน CORE-Bench ของ HAL [2] ตัวเลขนี้จริง แต่ต้องอ่านให้ถูกที่มา มันมาจาก Holistic Agent Leaderboard หรือ HAL ซึ่งเป็นงานของทีมนักวิจัยสามสิบกว่าคนนำโดย Sayash Kapoor และ Benedikt Stroebl [6] รีโปอ้างถึงเปเปอร์นี้ผ่านเลข arXiv 2510.11977 [2] Kapoor อธิบายบน X เมื่อ 3 ธ.ค. 2025 ว่า CORE-Bench คือชุดทดสอบที่ให้ agent พยายามทำซ้ำผลการทดลองจากเปเปอร์วิทยาศาสตร์ เมื่อใช้ scaffold ของเขาเองชื่อ CORE-Agent กับ Opus 4.5 ได้ 42% แต่เมื่อเปลี่ยนไปใช้ Claude Code กับโมเดลเดียวกัน ได้ 78% หรือเกือบสองเท่า [4] บนหน้าลีดเดอร์บอร์ดของ HAL ตัวเลขที่แสดงคือ 77.78% และถ้าตรวจมือจะขึ้นเป็น 95.5% [3] ประเด็นคือตัวเลขนี้วัดว่า harness เปลี่ยนคะแนนได้แค่ไหน ไม่ได้วัดว่า Autoharness ทำให้คะแนนเพิ่มจาก 42 เป็น 78 รีโปเองก็เขียนไว้ตรง ๆ ว่ามันเดิมพันเพียงชิ้นเดียวของ harness คือชั้น skill ที่จะดูแลตัวเองได้ [2] การอ้างแบบนี้ถือว่าซื่อสัตย์ แต่คนอ่านพาดหัวมักเข้าใจผิดว่า 78% คือผลของตัวมัน ผมจึงอยากให้จำประโยคนี้ไว้ ถ้าซอฟต์แวร์ใดอ้างตัวเลขจาก benchmark ให้ถามทุกครั้งว่าตัวเลขนั้นวัดอะไร และวัดของใคร ทำไม skill ที่เขียนมือถึงเน่า ปัญหาอยู่ที่การดูแล ไม่ใช่การเขียนครั้งแรก ถ้าคุณเคยดูแลโฟลเดอร์ skill เกินยี่สิบไฟล์ จะรู้ว่าปัญหาไม่ได้อยู่ที่การเขียนครั้งแรก แต่อยู่ที่การดูแลต่อ ไฟล์ซ้ำเกิดขึ้นเรื่อย ๆ เมื่อสถานการณ์ใกล้เคียงกันแต่คุณลืมว่าเคยเขียนไว้ ไฟล์เก่ากลายเป็นคำแนะนำที่ขัดกับวิธีทำงานปัจจุบัน และไม่มีใครกล้าลบเพราะกลัวเสียความรู้ Autoharness แก้ปัญหานี้ด้วยการทำให้การรวมและการตัดเป็นงานของระบบ ไม่ใช่ของความมีวินัยส่วนตัว [2] ตัวอย่างให้เห็นภาพ สมมติคุณมี skill สองไฟล์คือ "วิธีรีวิว PR ของทีม" กับ "วิธีตรวจโค้ดก่อน merge" ซึ่งเนื้อหาทับกันครึ่งหนึ่ง ระบบจะพับรวมเป็นไฟล์เดียวและจดว่าไฟล์ไหนถูกกลืนไป [2] จุดนี้ทำให้ผมคิดว่ามันน่าสนใจน้อยกว่าเรื่อง "AI เขียน skill เอง" แต่มีประโยชน์กว่ามากในงานจริง ความเสี่ยงที่ต้องเข้าใจก่อนติดตั้ง สี่ข้อที่ควรรู้ก่อนติดตั้ง อย่างแรกคือการเรียนจาก session ที่ไม่ดี ถ้างานของคุณจบแบบลวก ๆ หรือคุณแก้ agent ด้วยการสั่งให้ข้ามเทสต์ บทเรียนที่มันสกัดออกมาก็จะกลายเป็นนิสัยแย่ที่ถูกโหลดซ้ำในครั้งถัดไป อย่างที่สองคือ skill ที่ generalize ผิด จากเหตุการณ์ครั้งเดียว มันอาจสรุปกติกาเป็นกฎที่ใช้กับทุกสถานการณ์ ซึ่งทำให้ agent ดื้อในงานที่ไม่เหมือนเดิม อย่างที่สามคือเงื่อนไขการติดตั้ง รีโประบุว่าต้องมี Python 3.11 ขึ้นไปเป็น python3 บน PATH ถ้าเครื่องคุณมี 3.9 จาก Xcode มาก่อน hook จะไม่ถูกเรียกเลยทั้ง session แม้ตัวมันจะแจ้งเตือนทาง stderr [2] อย่างที่สี่คือ marketplace ของบุคคลที่สามปิด auto-update เป็นค่าเริ่มต้น [2] แปลว่าคุณต้องอัปเดตเอง หรือเปิดเองโดยรู้ความเสี่ยง วิธีลองแบบไม่เสี่ยง ลำดับห้าขั้นที่ผมแนะนำ คำสั่งติดตั้งที่รีโปให้ไว้มีสองบรรทัด [2] /plugin marketplace add tigerless-labs/autoharness /plugin install autoharness@autoharness ถ้าจะลอง ผมแนะนำลำดับนี้ 1. ใช้โปรเจกต์ทดลองที่ไม่ใช่ repo หลักของทีม 2. ติดตั้งผ่าน marketplace ตามคำสั่งในรีโป แล้วตรวจว่าโฟลเดอร์ .claude/skills/ มีไฟล์ใหม่เกิดขึ้นจริง 3. เปิดไฟล์ที่มันเขียนทุกไฟล์ในสัปดาห์แรก เพราะนี่คือสิ่งที่ agent จะถือเป็นกฎ 4. ลอง /learn หนึ่งครั้งกับบทเรียนที่คุณอยากเก็บ แล้วดูว่ามันเขียนออกมาตรงใจแค่ไหน 5. ถ้าไม่ชอบ ให้ถอนการติดตั้งได้ทันที แต่มันไม่ลบไฟล์ที่มันเขียนไว้ให้เอง ต้องไปลบสองที่คือ state dir ของมัน (~/.claude/autoharness/ หรือ .claude/autoharness/ ในโปรเจกต์) และไฟล์ skill ที่มันเขียนใน .claude/skills/ [2] ข้อสามสำคัญที่สุด เพราะคนส่วนใหญ่จะดูแค่ว่าระบบทำงานไหม แต่ไม่ดูว่ามันเขียนอะไรลงไป เรื่องนี้เกี่ยวกับ agentic engineering ยังไง ชั้นความรู้ที่ทีมสะสมไว้ ถ้า agentic engineering คือการกำกับ agent ให้ได้คุณภาพงานโดยไม่ลดมาตรฐาน [5] การมีชั้นความรู้ที่ทีมสะสมไว้คือส่วนที่ทำให้คุณภาพไม่ขึ้นกับความจำของคนคนหนึ่ง ในมุมมองของผม Autoharness เป็นความพยายามทำให้ชั้นนั้นดูแลตัวเองได้ ซึ่งเป็นทิศทางที่สมเหตุสมผล แต่ยังต้องมีคนอ่านและอนุมัติสิ่งที่มันเขียน เครื่องมือที่เรียนรู้ได้ไม่ได้ลดความรับผิดชอบของคนลง มันแค่ย้ายจุดที่คนต้องตรวจ คำตอบของคำถามตั้งต้น Autoharness คือระบบที่ให้ Claude Code เก็บบทเรียนจาก session จริง แล้วกลั่นเป็น skill ที่จัดการวงจรชีวิตของมันเอง ทั้งเขียน รวม แก้ และตัด มันไม่ได้ทำให้โมเดลเก่งขึ้นจาก 42 เป็น 78 อย่างที่หลายคนเข้าใจ และมันไม่ได้แทนการอ่านสิ่งที่ agent เขียน ถ้าจะสรุปเป็นประโยคเดียว คุณค่าของมันอยู่ที่การดูแล skill ให้สดใหม่ ไม่ใช่การทำให้ agent ฉลาดขึ้น คำถามที่ควรถามก่อนติดตั้งจึงเป็น "ทีมเรามีคนอ่าน skill ที่ agent เขียนหรือยัง" ไม่ใช่ "มันเรียนได้เองไหม" REF [1] Brady Long (27 ต.ค. 2026) · โพสต์แนะนำ Autoharness (X (Twitter)). x.com [2] Tigerless Labs (9 มิ.ย. 2026) · tigerless-labs/autoharness (README). tigerless-labs/autoharness [3] HAL (2026) · CORE-Bench Hard Leaderboard. hal.cs.princeton.edu [4] Sayash Kapoor (3 ธ.ค. 2025) · CORE-Bench is solved (using Opus 4.5 with Claude Code) (X (Twitter)). x.com [5] Andrej Karpathy (4 ก.พ. 2026) · นิยาม agentic engineering (X (Twitter)). x.com [6] Sayash Kapoor และคณะ (13 ต.ค. 2025) · Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation. arxiv.org

  4. 🚀 Claude Code can now learn from its own sessions! Autoharness turns real coding sessions into reusable skills, merges duplicates, updates lessons, and improves future workflows automatically. GitHub: tigerless-labs/autoharness t.co

    15 likes · 3 reposts · 331 views
  5. 如果 Claude Code 的技能只能靠人手整理,经验就很容易散在一轮轮对话里。AutoHarness 把学习接进真实会话:提炼技能,后续使用时更新,再按实际使用情况归档冷门技能。 tigerless-labs/autoharness 它按工具调用触发后台反思,不用常驻守护进程,也不靠单独跑基准;新技能还会先和已有内容比对,能合并就不重复堆。更巧的是,验证信号来自后续会话是否真正调用技能,而不是离线分数。技能最终仍是普通文件,自己写的技能不会被它碰。

    64 views
  6. Submitted an AutoHarness validation fix for @Tigerless_labs: malformed frontmatter closing lines now fail instead of being skipped until a later Markdown rule. Linux tests: 614 passed, one live test excluded. autoharness#267

    7 views
  7. tigerless-labs/autoharness En Claude Code: /plugin marketplace add tigerless-labs/autoharness /plugin install autoharness@autoharness Luego /reload-plugins o reinicia.

    1 like · 66 views

Latest stargazers

The last 10 distinct accounts we observed this year.

Most active participants

PR, issue, comment & review events in the past year.

Packages

No packages found.

README badges

Embed a badge in your README or website.

Live mentions · last 30 days
tigerless-labs/autoharness mentions in the last 30 days