Agent Mode Allure 3

Allure Agent Mode permite que un agente de código con IA ejecute tu comando de pruebas actual y revise reportes de pruebas legibles para agentes antes de responder.

Úsalo cuando un agente necesite hacer una afirmación sobre cobertura de pruebas, una prueba nueva o modificada, una ejecución fallida, comportamiento flaky o seguridad contra regresiones. En lugar de depender solo de la salida de la terminal, el agente puede revisar qué se ejecutó, qué pasó o falló, qué se omitió o reintentó y qué evidencia se adjuntó.

Agent Mode no reemplaza los reportes de Allure para humanos. Agrega una capa legible para agentes sobre el mismo flujo de reportes que ya usa tu equipo.

Qué hace Agent Mode

Agent Mode es útil cuando le pides a un agente de código que:

• revise si una funcionalidad está realmente cubierta por pruebas;
• agregue o mejore una prueba y valide el alcance esperado;
• depure una prueba fallida o flaky con evidencia de runtime;
• compruebe si un cambio es seguro antes de decir que está terminado;
• enriquezca pruebas con pasos, adjuntos, labels, parámetros o descripciones útiles.

El objetivo no es solo ejecutar un comando. El objetivo es que el agente base su respuesta en reportes de pruebas que se puedan revisar.

Cómo funciona

allure agent envuelve el comando de pruebas que ya usa tu proyecto:

allure agent -- npm test checkout.spec.ts

Todo lo que aparece después de -- sigue siendo tu comando real de pruebas. Tu test runner ejecuta las pruebas, los adaptadores de Allure emiten resultados de Allure, y Allure captura la salida del comando y la evidencia de runtime para escribir salida de Agent Mode para esa ejecución.

Un flujo típico con Agent Mode es:

1. Elegir un objetivo de validación enfocado.
2. Ejecutar el alcance de pruebas significativo más pequeño con allure agent.
3. Revisar la salida generada para agentes antes de leer el código fuente.
4. Corregir código de producto, pruebas, fixtures o calidad de evidencia cuando haga falta.
5. Volver a ejecutar cuando la conclusión dependa de la corrección.
6. Reportar qué se ejecutó, qué se comprobó, qué evidencia respalda la conclusión y qué sigue siendo incierto.

Ejecuciones en vivo y resultados existentes

Agent Mode puede darle a tu agente de código contexto de reporting de dos formas:

• envolver un comando de pruebas en vivo con allure agent -- <test-command>;
• inspeccionar resultados de Allure o artefactos dump existentes con allure agent inspect.

El camino de comando en vivo crea evidencia nueva: el agente ejecuta el alcance de pruebas relevante con allure agent, Allure captura la salida del comando y la evidencia de runtime, y Allure escribe la salida de Agent Mode para esa ejecución. Luego el agente inspecciona esa salida para analizar cobertura, fallos, hallazgos y limitaciones.

A veces la evidencia útil ya existe. Por ejemplo, una ejecución pudo ocurrir en CI, en la máquina de otra persona del equipo o antes en tu propia máquina. Cuando esa ejecución conservó directorios raw de allure-results o artefactos dump de Allure, Allure convierte esos artefactos en salida de Agent Mode sin volver a ejecutar las pruebas.

Ambos caminos le dan al agente una superficie de revisión basada en reporting antes de leer logs largos, reportes HTML generados o código fuente. Si la ejecución original no conservó resultados raw o artefactos dump, la inspección tiene menos contexto de runtime con el que trabajar.

Salida de Agent Mode

allure agent crea e imprime un directorio de salida cuando no se proporciona una ruta explícita. Usa ese valor por defecto salvo que tu proyecto necesite una ubicación de salida concreta.

La salida de Agent Mode es la superficie de revisión que lee tu agente de código antes de hacer una afirmación sobre calidad de pruebas. Un directorio de salida típico incluye:

agent-output/
  index.md
  manifest/
  tests/
  logs/
  awesome/

Los nombres exactos de archivos y la estructura interna pueden cambiar en futuras versiones de Allure, pero la idea se mantiene: index.md es el punto de entrada y el directorio contiene el resumen de la ejecución junto con los detalles de runtime que lo respaldan.

Según lo que haya producido la ejecución, la salida de Agent Mode puede dar al agente acceso a:

• el comando envuelto, código de salida, tiempos y alcance de pruebas seleccionado;
• señales de pruebas pasadas, fallidas, omitidas, rotas, reintentadas o ausentes;
• hallazgos sobre evidencia débil, desajustes de alcance, skips inesperados o problemas de reporting;
• resúmenes por prueba con pasos, labels, parámetros, adjuntos, reintentos y detalles de fallos;
• stdout, stderr, logs y artefactos de proceso cuando importan;
• el estado y la ruta del reporte para humanos generado, cuando se produjo un reporte legible para humanos.

También puedes inspeccionar tú mismo la misma salida para agentes. Por ejemplo, si ya tienes un directorio allure-results de una ejecución local o de un artefacto de CI, crea un directorio de salida legible para Agent Mode con:

allure agent inspect allure-results --output agent-output

Cada ejecución debería tener una salida de Agent Mode distinta. No reutilices un directorio de salida para ejecuciones no relacionadas y no compartas una misma ruta de salida entre ejecuciones paralelas.

Después de cada ejecución, el agente debería reportar la ruta del index.md generado. En ejecuciones finales o pensadas para revisión de usuarios, si se generó un reporte legible para humanos, el agente también debería reportar su ruta o indicar que no se generó ningún reporte humano.

Antes de empezar

Requisitos

Para usar Agent Mode necesitas:

• Allure Report 3.12.0 o más reciente con soporte para Agent Mode;
• un comando de pruebas del proyecto, como npm test, pytest, mvn test o ./gradlew test;
• resultados de Allure emitidos por las pruebas en una ubicación que Allure pueda descubrir;
• un agente de código con IA que pueda ejecutar comandos de shell y leer archivos generados en tu repositorio.

Si tu proyecto todavía no cumple el requisito de reporting, consulta Configura Allure reporting antes de activar Agent Mode.

Agent Mode no requiere MCP, un servicio alojado ni un proveedor específico de IA. Puedes usarlo con Codex, Claude, OpenCode, scripts personalizados, agentes ejecutados desde CI u otro flujo de código con agentes.

Usa la CLI instalada como fuente de verdad para las opciones exactas:

allure --version
allure agent --help
allure agent capabilities --json

Si tu proyecto usa un wrapper, script de paquete o comando del sistema de build para Allure, ejecuta esas comprobaciones a través de ese wrapper.

Para revisar resultados de Allure que ya fueron producidos por una ejecución local o por CI, usa:

allure agent inspect --help

Instala o actualiza Allure

Instala Allure Report 3 usando el flujo normal de instalación para tu proyecto o entorno:

• Instalar Allure Report
• Actualizar Allure Report

Prefiere el comando de Allure aprobado por el proyecto. En muchos repositorios puede ser un script de paquete, una tarea de build, un wrapper o una dependencia local en lugar de un binario global allure.

Configura Allure reporting

Agent Mode depende de resultados de Allure útiles. Si tu proyecto todavía no emite resultados de Allure, configura primero el adaptador de Allure adecuado para tu framework de pruebas.

Busca tu framework de pruebas en la lista de integraciones de Allure con frameworks y sigue sus instrucciones de configuración.

En la práctica, allure agent -- <test-command> tiene las mismas restricciones de reporting que allure run -- <test-command>: el comando envuelto debe ser el comando de pruebas confiable del proyecto, debe ejecutarse con los wrappers y el entorno que hacen funcionar la emisión de resultados de Allure, y Allure debe poder descubrir los directorios de resultados producidos. Un comando de reporte no puede reparar resultados ausentes o vacíos después de la ejecución.

Mantén claros estos límites:

• Resultados de Allure son archivos raw emitidos por adaptadores de frameworks.
• Salida de Agent Mode es el Markdown y la metadata generados para una ejecución de allure agent.
• Reportes de Allure son reportes visuales para humanos.

No escribas los tres tipos de artefactos en el mismo directorio. Los directorios de resultados del framework normalmente deberían mantener allure-results como componente final de la ruta, por ejemplo target/allure-results, build/allure-results u out/allure-results.

Configura tu agente de código

Agrega las skills de Allure para agentes de código

Si usas Codex, Claude, OpenCode u otro agente que soporte skills locales, agrega las skills de Allure al repositorio donde viven tus pruebas:

npx skills add allure-framework/skills

El repositorio incluye actualmente estas skills de Allure:

• allure-configure-reporting — configura adaptadores de Allure, directorios de resultados, comandos locales de reportes, integraciones de evidencia y manejo de artefactos o reportes en CI cuando el proyecto todavía no emite resultados de Allure útiles.
• allure-configure-agent-workflow — configura el flujo local de Agent Mode cuando ya existe reporting, descubriendo comandos de prueba del proyecto, wrappers, rutas de resultados, opciones soportadas de allure agent y convenciones de salida para agentes.
• allure-test-agent — ayuda a los agentes a hacer trabajo diario de pruebas con Agent Mode, como revisar cobertura, escribir pruebas, depurar fallos, investigar flakes, enriquecer evidencia y comprobar regresiones.

Activa el flujo local de Agent Mode

Después de instalar las skills, configura el flujo local de Agent Mode con la skill allure-configure-agent-workflow.

Si tu agente soporta invocación directa de skills, llama directamente a allure-configure-agent-workflow. Si no, pídele a tu agente de código que active Agent Mode para el proyecto:

Codex

codex "enable allure agent mode"

Claude

claude "enable allure agent mode"

OpenCode

opencode run "enable allure agent mode"

El agente debería descubrir comandos de prueba locales, wrappers, rutas de resultados, opciones soportadas de allure agent y desde dónde leer la salida generada para agentes. Si tu proyecto todavía no tiene Allure reporting, termina primero la configuración de reporting y después vuelve a Agent Mode.

El resultado esperado es:

• una guía del proyecto en docs/allure-agent-mode.md;
• un archivo raíz breve de instrucciones para agentes, como AGENTS.md, CLAUDE.md u otro archivo específico del proyecto, que enlace el trabajo relacionado con pruebas a docs/allure-agent-mode.md;
• notas locales sobre comandos de prueba confirmados, wrappers de Allure, rutas de resultados, capacidades de Agent Mode, convenciones de salida y limitaciones conocidas.

Pruébalo en trabajo real de pruebas

Hay muchos usos posibles para Agent Mode. El objetivo principal siempre es el mismo: dar a tu agente de código reportes de pruebas que pueda inspeccionar antes de hacer una afirmación.

Esto puede hacer que el trabajo agentic de desarrollo sea más rápido o más preciso cuando la verificación adicional es útil. Un agente que puede revisar pruebas ejecutadas, casos omitidos, reintentos, adjuntos y salida de reportes tiene mejores formas de comprobar su propio trabajo que un agente que solo ve texto de terminal.

Conviene conocer el tradeoff desde el principio: las ejecuciones respaldadas por reportes consumen más tokens y más contexto que un comando de terminal normal. Eso es esperable en un flujo con más evidencia. Pruébalo con las tareas de abajo y evalúa el beneficio en tu propio flujo de trabajo.

Aquí tienes algunas tareas reales que puedes probar con Agent Mode. Si las pruebas, por favor comparte feedback con nosotros para que podamos entender dónde ayuda más.

Codex

codex "review checkout test coverage"

Claude

claude "add a test for expired-card checkout"

OpenCode

opencode run "debug the checkout retry test failure"

Revisar cobertura de pruebas

Úsalo cuando quieras saber si una funcionalidad, componente, paquete o suite de pruebas está realmente cubierto en runtime.

Comportamiento esperado del agente: elegir un alcance enfocado, ejecutarlo con Agent Mode, comparar la cobertura esperada con la cobertura observada en runtime y reportar qué pruebas se ejecutaron, qué casos se omitieron o faltan, qué evidencia se ve débil y qué afirmaciones de cobertura siguen siendo inciertas.

Agregar o mejorar una prueba

Úsalo cuando quieras que el agente agregue una prueba faltante, fortalezca aserciones débiles o mejore la evidencia de la prueba con pasos, adjuntos, labels, parámetros o descripciones útiles.

Comportamiento esperado del agente: identificar el comportamiento y el riesgo, elegir la capa de prueba, agregar o mejorar la prueba, ejecutar el alcance previsto con Agent Mode, revisar la salida generada y solo entonces explicar qué demuestra la prueba nueva o modificada.

Depurar una prueba fallida

Úsalo cuando una prueba falla, se queda colgada o produce una salida de terminal confusa. Agent Mode ayuda al agente a revisar evidencia por prueba, hallazgos, adjuntos, reintentos, logs y salida de proceso antes de decidir qué se rompió.

Comportamiento esperado del agente: ejecutar el alcance fallido más pequeño, inspeccionar la salida generada para agentes antes del código fuente, separar fallos de producto de bugs de prueba, problemas de fixture o setup, problemas de entorno y problemas de reporting o adaptador, y volver a ejecutar cuando la corrección necesite validación.

Investigar comportamiento flaky

Úsalo cuando una prueba cambia de resultado entre reintentos, entornos, navegadores, shards o reruns.

Comportamiento esperado del agente: inspeccionar reintentos, tiempos, estado antiguo, adjuntos, datos de entorno y evidencia repetida antes de recomendar una corrección. Si la ejecución no es bloqueante, está en cuarentena o es demasiado estrecha, el agente debería decirlo.

Comprobar seguridad contra regresiones

Úsalo antes de aceptar que un cambio es seguro. Pídele al agente que ejecute el alcance significativo más pequeño con Agent Mode y explique qué demuestra realmente la ejecución.

Comportamiento esperado del agente: seleccionar el alcance significativo más pequeño, ejecutarlo con Agent Mode, revisar la salida y decir exactamente qué está demostrado y qué no. El agente debería evitar afirmaciones amplias cuando el alcance seleccionado fue solo un smoke test, omitió casos importantes, no tuvo evidencia suficiente o dependió de mocks o servicios no disponibles.