Análisis visual
Un informe de pruebas generado por Allure muestra algunos datos en forma de gráficos. Cuando alguien está familiarizado con tu proyecto y revisa sus informes de pruebas regularmente, puede obtener una idea general del estado actual del proyecto con solo echar un vistazo al último informe de pruebas.
Aquí hay algunos de los trucos que un lector puede adoptar en un proyecto bien organizado:
- Cuanto más verde haya en la pestaña Resumen, mejor: consulta el gráfico de Estatus de las pruebas, el gráfico de Suites y Características por historias, y el gráfico de Categorías.
- Cuanto menos críticos sean los valores de gravedad para las pruebas fallidas, mejor: consulta el gráfico de Gravedad.
- Cuanto más rápido se ejecuten la mayoría de las pruebas, mejor: consulta los gráficos de Duración y Tendencia de duración.
- Cuantos menos reintentos tenga que hacer el ejecutor para completar todas las pruebas, mejor: consulta el gráfico de Tendencia de reintentos.
- A menos que las pruebas hayan sido reescritas, no debería haber cambios significativos en el gráfico de Tendencia de categorías.
Gráfico de estatus de las pruebas
Tanto la pestaña Resumen como la pestaña Gráficos presentan un diagrama de sectores que muestra cuántas pruebas obtuvieron cada estatus.
El número en el centro del gráfico de sectores indica el porcentaje de casos de prueba que pasaron con éxito.
Pasa el puntero del ratón sobre una sección del gráfico de sectores para ver tanto el porcentaje como el número absoluto de pruebas con el estatus correspondiente.
Suites y Características por historias
La pestaña Resumen contiene los bloques de Suites y Características por historias, que presentan grupos de pruebas de la jerarquía basada en suites y la jerarquía basada en comportamientos, respectivamente.
Cada grupo (una suite o una característica) se muestra como una línea horizontal, dividida en secciones de diferentes colores. Las secciones representan el número de pruebas con un determinado estatus, con los colores teniendo los mismos significados que en el gráfico de estatus de las pruebas. El número en una sección indica cuántas pruebas en el grupo terminaron con el estatus correspondiente.
En cada bloque, solo se muestran los diez grupos más demandantes de atención (suites o características). Para elegir qué grupos mostrar, Allure los clasifica por el número de pruebas fallidas, luego por el número de pruebas rotas.
Haz clic en una suite o una historia para abrirla en la pestaña de Suites o Comportamientos. Haz clic en Mostrar todo para abrir la pestaña de Suites o Comportamientos y explorar toda la jerarquía.
Gráficos de tendencia
Los gráficos de tendencia en las pestañas Resumen y Gráficos muestran cómo cambió un cierto valor a lo largo del tiempo. Cada línea vertical corresponde a una versión determinada del informe de pruebas, con la última línea a la derecha correspondiente a la versión actual.
Existen diferentes gráficos de tendencia en la pestaña Gráficos de un informe de Allure.
- El gráfico de Tendencia (también mostrado en la pestaña Resumen) muestra cuántas pruebas tuvieron ciertos estatus. Los colores que indican pruebas con cada estatus son los mismos que en el gráfico de estatus de las pruebas.
- El gráfico de Tendencia de duración muestra cuánto tiempo tomó ejecutar todas las pruebas. Consulta también: Gráfico de duración.
- El gráfico de Tendencia de reintentos muestra el número total de reintentos que el ejecutor de pruebas realizó para todas las pruebas.
- El gráfico de Tendencia de categorías muestra el número de defectos de prueba y defectos del producto. Consulta también: Gráfico de categorías.
Haz clic en una línea vertical para abrir una versión anterior del informe de pruebas.
INFO
Consulta Historial de pruebas para aprender cómo construir informes de pruebas con los gráficos de tendencia habilitados.
Gráfico de gravedad
La pestaña Gráficos contiene el gráfico de gravedad, que muestra el número de pruebas, agrupadas por sus estatus y gravedad. Si el campo de metadatos de Gravedad no está explícitamente configurado para una prueba, la prueba se considera con nivel de gravedad "normal" y se muestra en la sección central, mientras que las pruebas con otros niveles de gravedad se colocan a la izquierda o derecha de esta.
El gráfico utiliza una escala logarítmica para facilitar la distinción de las columnas que representan valores similares.
En algunos proyectos, puede considerarse aceptable tener algunas fallas de prueba "normales", "menores" o "triviales", pero no es aceptable tener fallas de prueba "críticas" o "bloqueadoras". Para entender de manera aproximada la estabilidad actual en tal proyecto, un lector puede simplemente verificar cómo se distribuyen los diferentes estatus de las pruebas en el gráfico. Como regla general, cuanto más hacia la izquierda se ubique una barra roja, más atención necesita.
Los colores de los estatus de las pruebas tienen los mismos significados que en el gráfico de estatus de las pruebas.
Pasa el puntero del ratón sobre una columna para ver tanto los nombres de las pruebas con el estatus y gravedad correspondientes.
Gráfico de duración
La pestaña Gráficos contiene el gráfico de duración, donde todas las pruebas se dividen en grupos según cuánto tiempo tomó completarlas.
El gráfico utiliza una escala logarítmica para facilitar la distinción de las columnas que representan valores similares.
Si tu proyecto no tiene pruebas que tomen mucho tiempo por diseño, este gráfico a menudo muestra los grupos de pruebas más grandes a la izquierda. Si una prueba toma más tiempo que otras y, por lo tanto, se coloca en los grupos de la derecha, esto puede ser un indicador de un problema dentro de la prueba o incluso de la característica del producto con la que trabaja: por ejemplo, un intento de cargar un recurso desde un servidor lento. Además, una duración larga de una prueba puede ser causada por un gran número de reintentos.
Sin embargo, ten en cuenta que a veces la duración de una prueba puede verse afectada por varios factores externos, como la cantidad de memoria operativa libre en la máquina. Por lo general, es una buena idea ejecutar las pruebas nuevamente, si es posible, para confirmar que la larga duración de una prueba es un problema persistente.
Pasa el puntero del ratón sobre una columna para ver tanto los nombres de las pruebas con duraciones en el intervalo correspondiente.
Gráfico de categorías
La pestaña Gráficos contiene el bloque de Categorías que presenta categorías de pruebas. Esto incluye las categorías personalizadas, así como las categorías predefinidas "Defectos del producto" y "Defectos de prueba", asignadas según los estatus de las pruebas.
Cada categoría se muestra como una línea horizontal, dividida en secciones de diferentes colores. Las secciones representan el número de pruebas con un determinado estatus, y los colores tienen los mismos significados que en el gráfico de estatus de las pruebas. El número en una sección indica cuántas pruebas en la categoría terminaron con el estatus correspondiente.
La línea que corresponde a las categorías predefinidas no se divide en secciones, ya que cada prueba en dicha categoría tiene el mismo estatus.
Haz clic en una categoría para verla en la pestaña Categorías. Haz clic en Mostrar todo para abrir la pestaña Categorías y explorar toda la jerarquía.