En este momento, CI Visibility no está disponible en el sitio () seleccionado.

Compatibilidad

Lenguajes compatibles:

LenguajeVersión
Python 2v2.7 o anterior
Python 3v3.6 o anterior

Marcos para tests compatibles:

Marco para testsVersión
pytestv3.0.0 o anterior
pytest-benchmarkv3.1.0 o anterior
unittestv3.7 o anterior

Configuración del método de notificación

Para informar de los resultados de los tests a Datadog, debes configurar la biblioteca Python de Datadog:

Puedes utilizar la acción Github para la visibilidad de tests exclusiva, para habilitar la visibilidad de los tests. Si lo haces, puedes omitir el resto de los pasos de configuración que se indican a continuación.

Puedes utilizar la configuración basada en la interfaz de usuario, para habilitar la visibilidad de los tests para tus tareas y pipelines. Si lo haces, puedes omitir el resto de los pasos de configuración que se indican a continuación.

If you are using a cloud CI provider without access to the underlying worker nodes, such as GitHub Actions or CircleCI, configure the library to use the Agentless mode. For this, set the following environment variables:

DD_CIVISIBILITY_AGENTLESS_ENABLED=true (Required)
Enables or disables Agentless mode.
Default: false
DD_API_KEY (Required)
The Datadog API key used to upload the test results.
Default: (empty)

Additionally, configure the Datadog site to which you want to send data.

DD_SITE (Required)
The Datadog site to upload results to.
Default: datadoghq.com

If you are running tests on an on-premises CI provider, such as Jenkins or self-managed GitLab CI, install the Datadog Agent on each worker node by following the Agent installation instructions. This is the recommended option as it allows you to automatically link test results to logs and underlying host metrics.

If you are using a Kubernetes executor, Datadog recommends using the Datadog Operator. The operator includes Datadog Admission Controller which can automatically inject the tracer library into the build pods. Note: If you use the Datadog Operator, there is no need to download and inject the tracer library since the Admission Controller can do this for you, so you can skip the corresponding step below. However, you still need to make sure that your pods set the environment variables or command-line parameters necessary to enable Test Visibility.

If you are not using Kubernetes or can’t use the Datadog Admission Controller and the CI provider is using a container-based executor, set the DD_TRACE_AGENT_URL environment variable (which defaults to http://localhost:8126) in the build container running the tracer to an endpoint that is accessible from within that container. Note: Using localhost inside the build references the container itself and not the underlying worker node or any container where the Agent might be running in.

DD_TRACE_AGENT_URL includes the protocol and port (for example, http://localhost:8126) and takes precedence over DD_AGENT_HOST and DD_TRACE_AGENT_PORT, and is the recommended configuration parameter to configure the Datadog Agent’s URL for CI Visibility.

If you still have issues connecting to the Datadog Agent, use the Agentless Mode. Note: When using this method, tests are not correlated with logs and infrastructure metrics.

Instalación del rastreador Python

Instala el rastreador Python ejecutando:

pip install -U ddtrace

Para obtener más información, consulta la documentación de instalación del rastreador Python.

Instrumentación de tus tests

Para habilitar la instrumentación de tests pytest, añade la opción --ddtrace al ejecutar pytest, especificando el nombre del servicio o de la biblioteca a los que se realizan tests, en la variable de entorno DD_SERVICE. y el entorno en el que se ejecutan los tests (por ejemplo, local, cuando ejecutas tests en una estación de desarrollador, o ci, cuando los ejecutas en un proveedor CI) en la variable de entorno DD_ENV:

DD_SERVICE=my-python-app DD_ENV=ci pytest --ddtrace

Si también quieres activar el resto de las integraciones APM para tener más información en tu gráfico de llamas, añade la opción --ddtrace-patch-all:

DD_SERVICE=my-python-app DD_ENV=ci pytest --ddtrace --ddtrace-patch-all

Añadir etiquetas (tags) personalizadas a los tests

Para añadir etiquetas personalizadas a tus tests, define ddspan como argumento en tu test:

from ddtrace import tracer

# Define `ddspan` como argumento en tu test
def test_simple_case(ddspan):
    # Configura tus etiquetas
    ddspan.set_tag("test_owner", "my_team")
    # el test continúa normalmente
    # ...

Para crear filtros o campos group by para estas etiquetas, primero debes crear facetas. Para obtener más información sobre cómo añadir etiquetas, consulta la sección Añadir etiquetas en la documentación de instrumentación personalizada de Python.

Añadir medidas personalizadas a los tests

Además de las etiquetas, también puedes añadir medidas personalizadas a tus tests utilizando el tramo que esté activo en ese momento:

from ddtrace import tracer

# Define `ddspan` como argumento en tu test
def test_simple_case(ddspan):
    # Configura tus etiquetas
    ddspan.set_tag("memory_allocations", 16)
    # el test continúa normalmente
    # ...

Para obtener más información sobre las medidas personalizadas, consulta la guía para añadir medidas personalizadas.

Para instrumentar tus tests de referencia con pytest-benchmark, ejecuta tus tests de referencia con la opción --ddtrace al ejecutar pytest y Datadog detecta métricas de pytest-benchmark automáticamente:

def square_value(value):
    return value * value


def test_square_value(benchmark):
    result = benchmark(square_value, 5)
    assert result == 25

Para habilitar la instrumentación de los tests unittest, ejecuta tus tests añadiendo ddtrace-run al principio de tu comando unittest.

Asegúrate de especificar el nombre del servicio o de la biblioteca a los que se realizan tests en la variable de entorno DD_SERVICE. Además, puedes definir el entorno donde se ejecutan los tests en la variable de entorno DD_ENV:

DD_SERVICE=my-python-app DD_ENV=ci ddtrace-run python -m unittest

Alternativamente, si quieres habilitar la instrumentación unittest manualmente, utiliza patch() para habilitar la integración:

from ddtrace import patch
import unittest
patch(unittest=True)

class MyTest(unittest.TestCase):
def test_will_pass(self):
assert True

Parámetros de configuración

La siguiente es una lista de los parámetros de configuración más importantes que puedes utilizar con el rastreador, ya sea mediante código o mediante variables de entorno:

DD_SERVICE
Nombre del servicio o de la biblioteca a los que se realizan tests.
Variable de entorno: DD_SERVICE
Por defecto: pytest
Ejemplo: my-python-app
DD_ENV
Nombre del entorno en el que se ejecutan los tests.
**Variable de entorno **: DD_ENV
Por defecto: none
Ejemplos: local, ci

Para obtener más información sobre las etiquetas reservadas service y env, consulta Etiquetado unificado de servicios.

La siguiente variable de entorno puede utilizarse para configurar el localización del Datadog Agent:

DD_TRACE_AGENT_URL
La URL del Datadog Agent URL para recopilar trazas (traces) con el formato http://hostname:port.
Por defecto: http://localhost:8126

También puedes utilizar todas las demás opciones de configuración del Datadog Tracer.

Recopilación de metadatos Git

Datadog uses Git information for visualizing your test results and grouping them by repository, branch, and commit. Git metadata is automatically collected by the test instrumentation from CI provider environment variables and the local .git folder in the project path, if available.

If you are running tests in non-supported CI providers or with no .git folder, you can set the Git information manually using environment variables. These environment variables take precedence over any auto-detected information. Set the following environment variables to provide Git information:

DD_GIT_REPOSITORY_URL
URL of the repository where the code is stored. Both HTTP and SSH URLs are supported.
Example: git@github.com:MyCompany/MyApp.git, https://github.com/MyCompany/MyApp.git
DD_GIT_BRANCH
Git branch being tested. Leave empty if providing tag information instead.
Example: develop
DD_GIT_TAG
Git tag being tested (if applicable). Leave empty if providing branch information instead.
Example: 1.0.1
DD_GIT_COMMIT_SHA
Full commit hash.
Example: a18ebf361cc831f5535e58ec4fae04ffd98d8152
DD_GIT_COMMIT_MESSAGE
Commit message.
Example: Set release number
DD_GIT_COMMIT_AUTHOR_NAME
Commit author name.
Example: John Smith
DD_GIT_COMMIT_AUTHOR_EMAIL
Commit author email.
Example: john@example.com
DD_GIT_COMMIT_AUTHOR_DATE
Commit author date in ISO 8601 format.
Example: 2021-03-12T16:00:28Z
DD_GIT_COMMIT_COMMITTER_NAME
Commit committer name.
Example: Jane Smith
DD_GIT_COMMIT_COMMITTER_EMAIL
Commit committer email.
Example: jane@example.com
DD_GIT_COMMIT_COMMITTER_DATE
Commit committer date in ISO 8601 format.
Example: 2021-03-12T16:00:28Z

Limitaciones conocidas

Los complementos para pytest que alteran la ejecución de los tests pueden provocar comportamientos inesperados.

Paralelización

Los complementos que introducen una paralelización en pytest (como pytest-xdist o pytest-forked) crean un evento de sesión para cada instancia paralelizada. Se pueden crear varios módulos o conjuntos de eventos, si los tests del mismo paquete o módulo se ejecutan en diferentes procesos.

El número total de eventos de test (y su corrección) no se ven afectados. Los eventos de sesión individual, módulo o conjunto pueden tener resultados incoherentes con otros eventos de la misma ejecución de pytest.

Solicitudes de tests

Los complementos que cambian el orden de ejecución de los tests (como pytest-randomly) pueden crear varios eventos de módulo o conjunto. La duración y los resultados de los eventos de módulo o conjunto también pueden ser incoherentes con los resultados informados por pytest.

El número total de eventos de test (y su corrección) no se ven afectados.

En algunos casos, si la ejecución de tu test unittest se realiza de forma paralela, esto puede romper la instrumentación y afectar a la visibilidad de los tests.

Datadog recomienda utilizar un máximo de un proceso a la vez para no afectar a la visibilidad de los tests.

Leer más