Estados de las pruebas
Cada prueba en un informe de Allure tiene uno de los cinco estados: Pasada, Fallida, Omitida, Rota, Desconocida. Allure utiliza colores para representar los estados en los filtros, listas y gráficos a lo largo del informe de la prueba.
Pasada
Una prueba pasada (verde) es una prueba que finalizó correctamente. Esto usualmente significa que el escenario probado funciona como se esperaba.
Ten en cuenta que algunos adaptadores de Allure permiten indicar diferentes estados para diferentes pasos de prueba. Dependiendo de cómo esté escrita la prueba, el fallo de un paso no necesariamente provoca el fallo de la prueba en su totalidad.
Fallida
Una prueba fallida (roja) es una prueba que encontró un comportamiento inesperado en el sistema bajo prueba. Esto significa que la prueba en sí parece ser válida (no Rota), pero su ejecución terminó con una afirmación falsa.
Omitida
Una prueba omitida (gris) es una prueba que fue incluida en el plan de pruebas pero que no se ejecutó.
Este estado es informado por el propio marco de prueba y puede ser causado por diversas razones. Por ejemplo, algunos marcos omiten las pruebas si tienen una anotación especial o una construcción similar, como la anotación @Disabled en JUnit 5 o el decorador @pytest.mark.skip en pytest.
INFO
Si usas Allure TestOps, puedes deseleccionar una prueba al crear un plan de pruebas. En tal caso, la prueba no aparecerá como Omitida, sino que será excluida completamente del informe.
Rota
Una prueba rota (amarilla) es una prueba que falló debido a un defecto de prueba. A diferencia de una prueba Fallida, este estado significa que la prueba no pudo verificar el comportamiento del producto como pretendía, por lo tanto, el fallo puede o no indicar un defecto real en el producto.
Para diferentes marcos de prueba, los adaptadores de Allure implementan diferentes criterios para diferenciar entre pruebas rotas y fallidas. Como regla general, una prueba se considera rota si causa una excepción no relacionada con el comportamiento normal del marco de prueba, por ejemplo, cuando intenta y no puede leer un archivo de configuración.
Es importante destacar que algunos frameworks de JavaScript dificultan la verificación de la razón de un fallo porque no siempre proporcionan el nombre completo de una excepción que ocurrió. Los adaptadores de Allure hacen todo lo posible por deducirlo basándose en la información disponible. Considera abrir un problema en el rastreador de errores del adaptador si algunas de tus pruebas fallidas son marcadas accidentalmente como rotas o viceversa.
Desconocido
Una prueba recibe el estado “Desconocido” (violeta) cuando el adaptador de Allure no ha establecido explícitamente ningún otro estado para ella, ni siquiera el estado de Omitida. Esto puede ser causado por un error o un uso incorrecto del adaptador de Allure.
Considera abrir un problema en el rastreador de errores del adaptador si encuentras pruebas con un estado desconocido en tus informes.
Más allá de los estados de las pruebas
Mientras que el conjunto de estados de las pruebas es fijo y no puede ser extendido, existen formas adicionales de ordenar y filtrar los resultados de las pruebas.
Mantén el historial de informes de pruebas anteriores para agregar automáticamente marcas especiales a las pruebas recién pasadas, recién fallidas y recién rotas.
Configura categorías personalizadas para diferenciar las pruebas según sus mensajes de error.
Considera usar Allure TestOps para realizar otras acciones sobre los resultados de las pruebas, por ejemplo: silenciar una prueba por un periodo de tiempo, reintentar una prueba en una nueva ejecución, asociar un fallo con un problema en un rastreador de errores, y más.