Mejorando la Legibilidad de tus Reportes de Prueba
El objetivo de Allure es ayudarte a hacer los reportes de prueba tan fáciles de entender como sea posible. Idealmente, cuando tu colega vea un fallo de prueba en el reporte, queremos que entienda rápidamente el contexto: qué tan serio puede ser el problema, qué características se ven afectadas por él, y quién puede ayudarles con investigarlo más a fondo y eventualmente solucionarlo.
Aunque a veces la existencia del fallo en sí es suficiente para hacer algunas conclusiones, no siempre es el caso. E incluso si el contexto parece obvio en el momento de escribir la prueba, los detalles pueden ser olvidados cuando falle después de algunos años de trabajo estable.
Por esa razón, es una buena práctica llenar las pruebas con información adicional, describiendo todo lo que un futuro lector pueda necesitar.
Con el adaptador de Allure para tu framework de pruebas, puedes:
- proporcionar descripción, enlaces y otros metadatos;
- describir parámetros usados al ejecutar pruebas parametrizadas;
- proporcionar información de entorno arbitraria para todo el reporte de prueba.
Algunos adaptadores de Allure pueden soportar características adicionales, ve su documentación respectiva.
Descripción, Enlaces y Otros Metadatos
Puedes asignar algunos campos que ayudarán al lector a entender qué hace una prueba.
Título
Un título legible por humanos de la prueba.
Si no se proporciona, se usa el nombre de la función en su lugar.
Etiquetas
Cualquier número de términos cortos con los que la prueba está relacionada. Usualmente es una buena idea listar características relevantes que están siendo probadas. Las etiquetas pueden luego ser usadas para filtrar.
Propietario
El miembro del equipo que es responsable de la estabilidad de la prueba. Por ejemplo, esto puede ser el autor de la prueba, el desarrollador líder de la característica siendo probada, etc.
Enlaces
Lista de enlaces a páginas web que pueden ser útiles para un lector que investiga un fallo de prueba. Puedes proporcionar tantos enlaces como sean necesarios.
Hay tres tipos de enlaces:
- un enlace web estándar, por ejemplo, un enlace a la descripción de la característica siendo probada;
- un enlace a un issue en el rastreador de issues del producto;
- un enlace a la descripción de la prueba en un sistema de gestión de pruebas (TMS).
Se recomienda configurar el adaptador de Allure de tal manera que acepte identificadores cortos de issues y enlaces TMS y use plantillas de URL para generar URLs completas. Por ejemplo, un identificador BUG-123 puede automáticamente convertirse en https://bugs.example.com/BUG-123. Puedes definir tus propios tipos de enlaces con sus propias plantillas de URL. Ve la documentación del adaptador específico de Allure para más detalles.
ID
Identificador único de la prueba.
El ID puede ser usado por herramientas adicionales como Allure TestOps.
Otras Etiquetas
Otros pares clave-valor.
Las etiquetas pueden ser usadas por herramientas adicionales como Allure TestOps.
Pruebas Parametrizadas
A veces quieres ejecutar la misma prueba múltiples veces, cada una con un conjunto diferente de valores. Por ejemplo, puedes querer asegurar que el comportamiento del sistema no cambie si alguna cadena está vacía o no. El patrón para escribir pruebas con lógica común pero valores diferentes se llama pruebas parametrizadas.
La manera recomendada de implementar este patrón depende del framework de pruebas.
Allure recopila y muestra datos sobre los parámetros donde es posible, mientras también proporciona funciones para que anules manualmente nombres y valores de parámetros para el reporte. Esto tiene múltiples beneficios para la legibilidad del reporte:
Puedes personalizar cómo Allure muestra los parámetros en el reporte — por ejemplo, hacer uno de los parámetros oculto.
Si un parámetro de prueba es un objeto complejo que no se muestra correctamente, puedes personalizar el valor específicamente para el reporte.
Si dos pruebas son muy similares entre sí, aunque sus implementaciones son independientes, puedes asignarles títulos idénticos y parámetros diferentes para ayudar al lector a entender tanto las similitudes como las diferencias de los dos casos.
Ten en cuenta, sin embargo, que cuando las implementaciones de prueba difieren significativamente, usualmente es mejor organizarlas en suites, comportamientos, o paquetes en su lugar.
Información de Entorno
Para la página principal del reporte, puedes recopilar información diversa sobre el entorno en el que las pruebas fueron ejecutadas.
Por ejemplo, es una buena idea usar esto para recordar la versión del SO, versión del lenguaje de programación, etc. Esto puede ayudar al futuro lector a investigar errores que son reproducibles solo en algunos entornos.
Para proporcionar tal información, pon un archivo de entorno especial en el directorio de resultados de prueba después de ejecutar las pruebas. El archivo será usado al construir el reporte por el comando allure. Algunos adaptadores de Allure pueden generar este archivo automáticamente basado en su configuración, ve la documentación del adaptador específico para más detalles.
Ten en cuenta que esta característica debería ser usada para propiedades que no cambian para todas las pruebas en el reporte. Si tienes propiedades que pueden ser diferentes para pruebas diferentes, considera usar Pruebas parametrizadas.