へー、skill からの発想で waza とな #すきやねんAzure
microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness
microsoft/waza
1 like · 138 views
@TylerKe11504158 have added the feedback to the roadmap for the next version(s). Thanks!
waza#789
waza#790
1 like · 34 views
Using Waza for your evals? Tell us what's working—or missing. Feedback and issues welcome:
github.com/microsoft/waza/issues
1 like · 150 views
Una skill que no mejora al agente sin ella solo te está costando tokens.
Waza, de Microsoft, prueba tus skills de #AgentesIA con y sin ellas y compara calidad, tokens y tiempo. Si no gana al baseline, sobra.
Las skills también son código: piden evals.
microsoft/waza t.co
7 views
Una skill que no mejora al agente sin ella solo te está costando tokens.
Waza, de Microsoft, prueba tus skills de #AgentesIA con y sin ellas y compara calidad, tokens y tiempo. Si no gana al baseline, sobra.
Las skills también son código: piden evals.
microsoft/waza
🧪 Una skill que no mejora al agente sin ella solo te está costando tokens
Escribimos skills con instrucciones, ejemplos y reglas, y damos por hecho que el agente trabaja mejor con ellas. Casi nunca lo medimos. Y cada instrucción extra es contexto que se paga en cada ejecución.
Lo vi en un post de Banias Baabe sobre Waza, una herramienta en Go de Microsoft para testear skills de agentes. La idea es sencilla y muy sana:
→ Defines las tareas que la skill debería resolver.
→ Defines qué cuenta como aprobado en cada una.
→ Lanzas waza run eval.yaml --baseline.
→ Waza ejecuta cada tarea con la skill y sin ella, y te da un informe que compara calidad, tokens, tiempo y tareas completadas.
Lo importante es el baseline. No basta con que la skill funcione: tiene que ganar al mismo agente sin ella. Si la calidad no cambia y el consumo de tokens sube, la skill no está aportando, está estorbando. Toca revisarla, recortar instrucciones o quitarla.
Es lo mismo que haríamos con cualquier otro cambio en un sistema con LLMs: un eval antes de darlo por bueno. Las skills también son código, aunque estén escritas en lenguaje natural.
Repo: microsoft/waza
#IA #AgentesIA #LLM
Mentions
へー、skill からの発想で waza とな #すきやねんAzure microsoft/waza: CLI / Framework for Agent Skills - create, test, measure and improve skill quality and effectiveness microsoft/waza
@TylerKe11504158 have added the feedback to the roadmap for the next version(s). Thanks! waza#789 waza#790
Using Waza for your evals? Tell us what's working—or missing. Feedback and issues welcome: github.com/microsoft/waza/issues
Una skill que no mejora al agente sin ella solo te está costando tokens. Waza, de Microsoft, prueba tus skills de #AgentesIA con y sin ellas y compara calidad, tokens y tiempo. Si no gana al baseline, sobra. Las skills también son código: piden evals. microsoft/waza t.co
Una skill que no mejora al agente sin ella solo te está costando tokens. Waza, de Microsoft, prueba tus skills de #AgentesIA con y sin ellas y compara calidad, tokens y tiempo. Si no gana al baseline, sobra. Las skills también son código: piden evals. microsoft/waza
🧪 Una skill que no mejora al agente sin ella solo te está costando tokens Escribimos skills con instrucciones, ejemplos y reglas, y damos por hecho que el agente trabaja mejor con ellas. Casi nunca lo medimos. Y cada instrucción extra es contexto que se paga en cada ejecución. Lo vi en un post de Banias Baabe sobre Waza, una herramienta en Go de Microsoft para testear skills de agentes. La idea es sencilla y muy sana: → Defines las tareas que la skill debería resolver. → Defines qué cuenta como aprobado en cada una. → Lanzas waza run eval.yaml --baseline. → Waza ejecuta cada tarea con la skill y sin ella, y te da un informe que compara calidad, tokens, tiempo y tareas completadas. Lo importante es el baseline. No basta con que la skill funcione: tiene que ganar al mismo agente sin ella. Si la calidad no cambia y el consumo de tokens sube, la skill no está aportando, está estorbando. Toca revisarla, recortar instrucciones o quitarla. Es lo mismo que haríamos con cualquier otro cambio en un sistema con LLMs: un eval antes de darlo por bueno. Las skills también son código, aunque estén escritas en lenguaje natural. Repo: microsoft/waza #IA #AgentesIA #LLM