Comenzando con Allure TestNG

Genera informes HTML hermosos usando Allure Report y tus pruebas TestNG.

Ejemplo de Allure Report TestNG

INFO

Consulta los proyectos de ejemplo en github.com/allure-examples para ver Allure TestNG en acción.

Configuración

Para integrar Allure en un proyecto TestNG existente, debes:

Agregar las dependencias de Allure a tu proyecto.
Configurar AspectJ para soportar las anotaciones @Step y @Attachment.
Designar una ubicación para el almacenamiento de los resultados de Allure.

Agregar dependencias de Allure

MavenGradle (Kotlin)Gradle (Groovy)

xml

<!-- Define la versión de Allure que deseas utilizar mediante la propiedad allure.version -->
<properties>
    <allure.version>2.24.0</allure.version>
</properties>

<!-- Añade allure-bom a la gestión de dependencias para garantizar que se utilizan las versiones correctas de todas las dependencias -->
<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>io.qameta.allure</groupId>
            <artifactId>allure-bom</artifactId>
            <version>${allure.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

<!-- Añade las dependencias necesarias de Allure a la sección de dependencias -->
<dependencies>
    <dependency>
        <groupId>io.qameta.allure</groupId>
        <artifactId>allure-testng</artifactId>
        <scope>test</scope>
    </dependency>
</dependencies>

kts

// Define la versión de Allure que deseas utilizar mediante la propiedad allureVersion
val allureVersion = "2.24.0"
// ...
dependencies {
    // Importa allure-bom para garantizar que se utilizan las versiones correctas de todas las dependencias
    testImplementation(platform("io.qameta.allure:allure-bom:$allureVersion"))
    // Añade las dependencias necesarias de Allure a la sección de dependencias
    testImplementation("io.qameta.allure:allure-testng")
}

groovy

// Define la versión de Allure que deseas utilizar mediante la propiedad allureVersion
def allureVersion = "2.24.0"

dependencies {
    // Importa allure-bom para garantizar que se utilizan las versiones correctas de todas las dependencias
    testImplementation platform("io.qameta.allure:allure-bom:$allureVersion")
    // Añade las dependencias necesarias de Allure a la sección de dependencias
    testImplementation "io.qameta.allure:allure-testng"
}

Configurar AspectJ

Allure utiliza AspectJ para la funcionalidad de las anotaciones @Step y @Attachment. Además, algunas integraciones de frameworks (como allure-assertj) dependen de la integración de AspectJ para funcionar correctamente.

MavenGradle (Kotlin)Gradle (Groovy)

xml

<!-- Define la versión de AspectJ -->
<properties>
    <aspectj.version>1.9.20.1</aspectj.version>
</properties>

<!-- Añade las siguientes opciones a tu maven-surefire-plugin -->
<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>3.1.2</version>
    <configuration>
        <argLine>
            -javaagent:"${settings.localRepository}/org/aspectj/aspectjweaver/${aspectj.version}/aspectjweaver-${aspectj.version}.jar"
        </argLine>
    </configuration>
    <dependencies>
        <dependency>
            <groupId>org.aspectj</groupId>
            <artifactId>aspectjweaver</artifactId>
            <version>${aspectj.version}</version>
        </dependency>
    </dependencies>
</plugin>

kts

// Define la versión de AspectJ
val aspectJVersion = "1.9.20.1"

// Define la configuración del agente AspectJ
val agent: Configuration by configurations.creating {
    isCanBeConsumed = true
    isCanBeResolved = true
}

dependencies {
    // Añade la dependencia de aspectjweaver
    agent("org.aspectj:aspectjweaver:${aspectJVersion}")
}

// Configura javaagent para la ejecución de pruebas
tasks.test {
    jvmArgs = listOf(
       "-javaagent:${agent.singleFile}"
    )
}

groovy

// Define la versión de AspectJ
def aspectJVersion = "1.9.20.1"

// Define la configuración del agente AspectJ
configurations {
    agent {
        canBeResolved = true
        canBeConsumed = true
    }
}

dependencies {
    // Añade la dependencia de aspectjweaver
    agent "org.aspectj:aspectjweaver:$aspectJVersion"
}

// Configura javaagent para la ejecución de pruebas
test {
    jvmArgs = [ "-javaagent:${configurations.agent.singleFile}" ]
}

Especificar la ubicación de los resultados de Allure

Allure, por defecto, guarda los resultados de las pruebas en el directorio raíz del proyecto. Sin embargo, se recomienda almacenar los resultados de las pruebas en el directorio de salida de la construcción.

Para configurar esto, crea un archivo allure.properties y colócalo en el directorio de recursos de pruebas de tu proyecto, que típicamente se encuentra en src/test/resources:

MavenGradle (Kotlin)Gradle (Groovy)

properties

allure.results.directory=target/allure-results

properties

allure.results.directory=build/allure-results

properties

allure.results.directory=build/allure-results

Ejecuta las pruebas

Ejecuta tus pruebas TestNG de la misma manera en que normalmente las ejecutarías. Por ejemplo:

Para Gradle:

MacOS/LinuxWindows

bash

./gradlew test

bash

gradlew test

Para Maven:

MacOS/LinuxWindows

bash

./mvnw verify

bash

mvnw verify

Después de ejecutar las pruebas, Allure recopilará los datos de ejecución de las pruebas y los almacenará en el directorio allure-results. Luego podrás generar un informe HTML a partir de estos resultados utilizando las herramientas de informes de Allure.

Genera un informe

Finalmente, convierte los resultados de las pruebas en un informe HTML. Esto se puede hacer con uno de dos comandos:

allure generate procesa los resultados de las pruebas y guarda un informe HTML en el directorio allure-report. Para ver el informe, usa el comando allure open.
Usa este comando si necesitas guardar el informe para futuras referencias o para compartirlo con colegas.
allure serve crea el mismo informe que allure generate, pero lo coloca en un directorio temporal y arranca un servidor web local configurado para mostrar el contenido de este directorio. El comando luego abrirá automáticamente la página principal del informe en un navegador web.
Usa este comando si necesitas ver el informe por ti mismo y no necesitas guardarlo.

Escribir pruebas

El adaptador Allure TestNG no solo recopila los datos proporcionados por las características estándar de TestNG, sino que también ofrece características adicionales para escribir pruebas aún mejores. Esta sección enumera las formas más notables de mejorar tus pruebas, utilizando tanto las características de TestNG como las de Allure TestNG.

Con Allure TestNG, puedes:

proporcionar descripción, enlaces y otros metadatos,
organizar las pruebas en jerarquías,
dividir la prueba en pasos más pequeños y fáciles de leer pasos de prueba,
describir los parámetros utilizados al ejecutar pruebas parametrizadas,
hacer que la prueba guarde capturas de pantalla y otros archivos durante la ejecución,
seleccionar qué pruebas ejecutar mediante un archivo de plan de prueba,
proporcionar información del entorno para todo el informe de prueba.

Especificar descripción, enlaces y otros metadatos

Hay muchos metadatos que puedes agregar a cada prueba para que aparezcan en el informe. Consulta la referencia para más detalles.

Para cada uno de los campos de metadatos, hay dos formas de asignarlos: mediante una anotación antes de un método de prueba o mediante una llamada a un método dentro del cuerpo del método de prueba. La segunda forma se llama "dinámica", porque permite construir cadenas y otros valores en tiempo de ejecución antes de pasarlos a los métodos. Sin embargo, ten en cuenta que se recomienda asignar todos los metadatos tan pronto como sea posible. De lo contrario, existe el riesgo de que la prueba falle antes de que todos los metadatos estén configurados, lo cual es perjudicial para la legibilidad del informe de prueba.

Annotations APIRuntime API

java

import io.qameta.allure.Description;
import io.qameta.allure.Issue;
import io.qameta.allure.Link;
import io.qameta.allure.Owner;
import io.qameta.allure.Severity;
import io.qameta.allure.TmsLink;
import org.testng.annotations.Test;

import static io.qameta.allure.SeverityLevel.*;

public class TestMyWebsite {

    @Test
    @Description("This test attempts to log into the website using a login and a password. Fails if any error happens.\n\nNote that this test does not test 2-Factor Authentication.")
    @Severity(CRITICAL)
    @Owner("John Doe")
    @Link(name = "Website", url = "https://dev.example.com/")
    @Issue("AUTH-123")
    @TmsLink("TMS-456")
    public void testAuthentication() {
        // ...
    }
}

java

import io.qameta.allure.Allure;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    public void testAuthentication() {
        Allure.description("This test attempts to log into the website using a login and a password. Fails if any error happens.\n\nNote that this test does not test 2-Factor Authentication.");
        Allure.label("severity", "critical");
        Allure.label("owner", "John Doe");
        Allure.link("Website", "https://dev.example.com/");
        Allure.issue("AUTH-123", "https://example.com/issues/AUTH-123");
        Allure.tms("TMS-456", "https://example.com/tms/TMS-456");
        // ...
    }
}

Organizar pruebas

Como se describe en Mejorando la navegación en tu informe de prueba, Allure admite múltiples formas de organizar las pruebas en estructuras jerárquicas. Allure TestNG proporciona funciones para asignar los campos relevantes a las pruebas, ya sea añadiendo anotaciones o "dinámicamente" (igual que para los campos de metadatos).

Para especificar la ubicación de una prueba en la jerarquía basada en el comportamiento:

Annotations APIRuntime API

java

import io.qameta.allure.Epic;
import io.qameta.allure.Feature;
import io.qameta.allure.Story;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    @Epic("Web interface")
    @Feature("Essential features")
    @Story("Authentication")
    public void testAuthentication() {
        // ...
    }
}

java

import io.qameta.allure.Allure;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    public void testAuthentication() {
        Allure.epic("Web interface");
        Allure.feature("Essential features");
        Allure.story("Authentication");
        // ...
    }
}

Para especificar la ubicación de una prueba en la jerarquía basada en suites:

java

import io.qameta.allure.Allure;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    public void testAuthentication() {
        Allure.label("parentSuite" "Tests for web interface");
        Allure.suite("Tests for essential features");
        Allure.label("subSuite", "Tests for authentication");
        // ...
    }
}

La ubicación de una prueba en la jerarquía basada en paquetes se define por los nombres totalmente calificados de las clases en las que están declaradas, con los prefijos comunes mostrados como paquetes principales.

Dividir una prueba en pasos

Allure TestNG proporciona tres formas de crear pasos y sub-pasos: "pasos anotados", "pasos lambda" y "pasos sin operaciones", consulta la referencia.

Annotated stepsLambda steps and no-op steps

java

import io.qameta.allure.Step;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    public void testAuthentication() {
        step1();
        step2();
    }

    @Step("Step 1")
    public void step1() {
        subStep1();
        subStep2();
    }

    @Step("Sub-step 1")
    public void subStep1() {
        // ...
    }

    @Step("Sub-step 2")
    public void subStep2() {
        // ...
    }

    @Step("Step 2")
    public void step2() {
        // ...
    }
}

java

import io.qameta.allure.Allure;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    public void testAuthentication() {

        Allure.step("Step 1", step -> {

            // ...
            Allure.step("Sub-step 1");

            // ...
            Allure.step("Sub-step 2");
        });

        Allure.step("Step 2", step -> {
            // ...
        });
    }
}

Describir pruebas parametrizadas

Allure TestNG proporciona soporte completo para las pruebas parametrizadas de TestNG.

Consulta la referencia para más ejemplos.

java

import org.testng.annotations.Parameters;
import org.testng.annotations.Test;

public class TestMyWebsite {

    @Test
    @Parameters({"Login", "Password"})
    public void testAuthentication(String login, String password) {
        // ...
    }
}

xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">

<suite name="Test my website">

    <test name="Test authentication with login">
        <parameter name="Login" value="johndoe"/>
        <parameter name="Password" value="qwerty"/>
        <classes>
            <class name="com.example.TestMyWebsite"/>
        </classes>
    </test>

    <test name="Test authentication with email">
        <parameter name="Login" value="[email protected]"/>
        <parameter name="Password" value="qwerty"/>
        <classes>
            <class name="com.example.TestMyWebsite"/>
        </classes>
    </test>

</suite>

Adjuntar capturas de pantalla y otros archivos

Puedes adjuntar cualquier tipo de archivos a tu informe de Allure. Por ejemplo, una forma popular de hacer que un informe sea más fácil de entender es adjuntar una captura de pantalla de la interfaz de usuario en un punto determinado.

Allure TestNG proporciona varias formas de crear un archivo adjunto, tanto desde archivos existentes como generados dinámicamente, consulta la referencia.

java

import io.qameta.allure.Allure;
import org.testng.annotations.Test;

import java.io.IOException;
import java.io.InputStream;
import java.nio.file.Files;
import java.nio.file.Paths;

public class TestMyWebsite {

    @Test
    public void testAuthentication() throws IOException {
        // ...
        Allure.attachment("data.txt", "This is the file content.");
        try (InputStream is = Files.newInputStream(Paths.get("/path/img.png"))) {
            Allure.attachment("image.png", is);
        }
    }
}

Seleccionar pruebas a través de un archivo de plan de pruebas

Si la variable de entorno ALLURE_TESTPLAN_PATH está definida y apunta a un archivo existente, TestNG solo ejecutará las pruebas listadas en este archivo.

Aquí tienes un ejemplo de cómo ejecutar pruebas según un archivo llamado testplan.json:

MacOS/LinuxWindows

bash

export ALLURE_TESTPLAN_PATH=testplan.json
./gradlew test

powershell

$Env:ALLURE_TESTPLAN_PATH = "testplan.json"
gradlew test

Información del entorno

Para la página principal del informe, puedes recopilar varios datos sobre el entorno en el que se ejecutaron las pruebas.

Por ejemplo, es una buena idea usar esto para recordar las versiones del sistema operativo y de Java. Esto puede ayudar al lector futuro a investigar errores que solo se reproducen en ciertos entornos.

Allure Report Environments Widget

Para proporcionar información sobre el entorno, coloca un archivo llamado environment.properties en el directorio allure-results después de ejecutar las pruebas. Consulta el ejemplo en Archivo de entorno.

Ten en cuenta que esta función debe usarse para propiedades que no cambian para todas las pruebas en el informe. Si tienes propiedades que pueden ser diferentes para diferentes pruebas, considera usar Pruebas parametrizadas.

Comenzando con Allure TestNG

Configuración

Agregar dependencias de Allure

Configurar AspectJ

Especificar la ubicación de los resultados de Allure

Ejecuta las pruebas

Genera un informe

Escribir pruebas

Especificar descripción, enlaces y otros metadatos

Organizar pruebas

Dividir una prueba en pasos

Describir pruebas parametrizadas

Adjuntar capturas de pantalla y otros archivos

Seleccionar pruebas a través de un archivo de plan de pruebas

Información del entorno

Powered by

Únete a nuestro boletín

Allure TestOps

Compañía

Comenzando con Allure TestNG ​

Configuración ​

Agregar dependencias de Allure ​

Configurar AspectJ ​

Especificar la ubicación de los resultados de Allure ​

Ejecuta las pruebas ​

Genera un informe ​

Escribir pruebas ​

Especificar descripción, enlaces y otros metadatos ​

Organizar pruebas ​

Dividir una prueba en pasos ​

Describir pruebas parametrizadas ​

Adjuntar capturas de pantalla y otros archivos ​

Seleccionar pruebas a través de un archivo de plan de pruebas ​

Información del entorno ​

Powered by

Únete a nuestro boletín

Allure TestOps

Compañía

Comenzando con Allure TestNG

Configuración

Agregar dependencias de Allure

Configurar AspectJ

Especificar la ubicación de los resultados de Allure

Ejecuta las pruebas

Genera un informe

Escribir pruebas

Especificar descripción, enlaces y otros metadatos

Organizar pruebas

Dividir una prueba en pasos

Describir pruebas parametrizadas

Adjuntar capturas de pantalla y otros archivos

Seleccionar pruebas a través de un archivo de plan de pruebas

Información del entorno