Errores Globales y Adjuntos Globales

A partir de Allure Report 3, puedes capturar información a nivel de proceso sobre las ejecuciones de tus pruebas, como las salidas stdout y stderr, errores del proceso de prueba y códigos de salida, y adjuntarlos a tus reportes de prueba.

Los errores y adjuntos que tu integración de Allure registra para toda la ejecución de prueba (globales personalizados) también se muestran en Allure Report 2.46.0 y versiones posteriores, consulta Allure Report 2.

Cómo usar

Para aprovechar esta característica, debes ejecutar tus pruebas con el comando contenedor allure run:

allure run -- <comando de prueba>

Por ejemplo, si npm es tu ejecutor de pruebas:

allure run -- npm test

Qué datos puedes capturar

Los datos globales de la ejecución de pruebas aparecen en secciones dedicadas en la página de inicio del reporte.

Código de Salida Global

El código de salida global se muestra justo debajo del nombre del reporte y presenta dos valores: el código de salida real (cómo finalizó el proceso allure run) y el código de salida original (el código de salida del proceso de prueba ejecutado dentro de allure run).

Estos valores pueden ser diferentes, por ejemplo, si configuras una quality gate para tolerar un cierto número de pruebas fallidas, o a la inversa, para aplicar un estándar de calidad más estricto que simplemente que todas las pruebas de la ejecución pasen.

Errores Globales

La pestaña Errores Globales contiene todas las excepciones a nivel de proceso encontradas durante la ejecución de pruebas, con trazas de pila para errores inesperados.

Adjuntos Globales

La pestaña Adjuntos Globales almacena actualmente toda la salida stdout y stderr generada por la ejecución de pruebas.

Adjuntos de Archivos Personalizados

Puedes adjuntar archivos adicionales al reporte como adjuntos globales usando la opción de configuración globalAttachments. Acepta un array de patrones glob (relativos al directorio de trabajo) y adjunta cualquier archivo coincidente al reporte independientemente de cualquier resultado de prueba:

export default {
  globalAttachments: ["./logs/*.log", "./screenshots/global/**/*.png"],
};

Solo se incluyen los archivos dentro del directorio de trabajo; las rutas que se resuelven fuera de él se omiten silenciosamente.

Globales Personalizados

También puedes configurar tu pipeline de pruebas para registrar explícitamente errores y adjuntos como globales a través de la API de tiempo de ejecución de globales. Esto te permite capturar fallos de configuración/desmontaje o cualquier otra información que no pertenezca a ninguna prueba individual.

TIP

Esta característica se irá desplegando gradualmente para todas las integraciones de frameworks con soporte de API de Runtime, comenzando con Allure JavaScript, Allure Java 3.0, Allure Dart y Allure Ruby 2.30. Consulta la documentación de tu integración para comprobar si ya es compatible.

En Allure Java 3.0 y versiones posteriores, los fallos que no pertenecen a una única prueba, como un método @BeforeAll fallido u otro fixture o hook del ciclo de vida, se registran automáticamente como errores globales en lugar de crear resultados de prueba artificiales. Para registrar tu propio error global, llama a Allure.globalError() con un objeto Throwable o StatusDetails:

import io.qameta.allure.Allure;

Allure.globalError(new IllegalStateException("Test database snapshot is outdated"));

Allure Java escribe los errores globales en el directorio de resultados de prueba, por lo que aparecen en el reporte aunque no uses el wrapper allure run.

En Allure Dart 1.3.0 y versiones posteriores, cuando usas los imports drop-in, un callback setUp, tearDown, setUpAll o tearDownAll fallido se registra como un error global, con un mensaje como setUpAll failed: <error message>. Para registrar tu propio error global, llama a allure.globalError().

En Allure Ruby 2.30 y versiones posteriores, un hook before(:suite) o after(:suite) fallido en RSpec, o un hook BeforeAll o AfterAll fallido en Cucumber, se registra como un error global. Para registrar tus propios errores y adjuntos globales, consulta Adjuntos y errores a nivel de ejecución en la referencia de RSpec o la referencia de Cucumber.rb.

Allure Report 2

Allure Report 2.46.0 y versiones posteriores muestran los globales personalizados registrados por tu integración de Allure. Si la ejecución de prueba tiene errores globales, la página Resumen muestra una advertencia de que la ejecución terminó con errores, aunque todas las pruebas hayan sido aprobadas. Los errores, con sus trazas de pila, y los adjuntos globales se listan en la pestaña Run, que solo aparece en los reportes que tienen errores o adjuntos globales.

Cómo activar y desactivar la característica

• Los errores globales y los adjuntos globales predeterminados están activados por defecto y pueden desactivarse con la opción --ignore-logs:

  allure run --ignore-logs -- <comando de prueba>

  Además, el plugin de Log puede limitar las salidas guardadas como adjuntos globales.

• Los globales personalizados capturados a través de la API de tiempo de ejecución de globales no pueden desactivarse salvo eliminándolos del código de prueba.

Interacciones con otras características

• Los resultados de quality gate no son errores globales: se muestran en la pestaña separada Quality Gates del reporte. Usar la opción --ignore-logs para desactivar los errores globales y los adjuntos no afecta el funcionamiento de las quality gates, ni oculta las quality gates fallidas en el reporte.

• Los reportes multietapa listan todos los errores globales y todos los adjuntos globales de todas las etapas incluidas en el reporte.