Configure Code Coverage

Este producto no es compatible con el sitio de Datadog seleccionado. ().

La configuración de Code Coverage implica los siguientes pasos:

  1. Configure la integración con su proveedor de código fuente en la interfaz de usuario de Datadog.
  2. Configure los permisos de acceso a datos de Code Coverage en Datadog.
  3. Opcionalmente, configure un PR Gate para bloquear solicitudes de extracción según los umbrales de Code Coverage.
  4. Actualice su CI pipeline para cargar informes de Code Coverage a Datadog.

Integre con el proveedor de código fuente

Code Coverage admite lo siguiente:

Siga las instrucciones en la documentación de integración de GitHub sobre cómo conectar sus repositorios de GitHub a Datadog.

Code Coverage requiere los siguientes permisos de la aplicación de GitHub:

PermisoNivel de accesoPropósito
ContenidoLecturaMostrar código fuente en la interfaz de usuario de cobertura detallada.
Solicitudes de extracciónEscrituraMostrar datos de PR en la interfaz de usuario de cobertura y escribir comentarios de PR.
VerificacionesEscrituraCrear PR Gates de cobertura.

Se requieren los siguientes webhooks:

WebhookPropósito
Solicitud de extracciónRecibir actualizaciones de datos de PR.
Revisión de solicitud de extracciónRecibir actualizaciones de datos de PR.
Comentario de revisión de solicitud de extracciónRecibir actualizaciones de datos de PR.
PushRecibir metadatos de confirmación de Git.

Si todo está configurado correctamente, se mostrará una marca de verificación verde en la página de Integración de GitHub de Datadog:

Verificación de éxito de la integración de la aplicación de GitHub
Si tiene una aplicación de Marketplace administrada por Datadog o una aplicación personalizada con la configuración predeterminada, se incluyen los permisos y webhooks necesarios.

Siga las instrucciones en la documentación de integración de código fuente de GitLab sobre cómo conectar sus repositorios de GitLab a Datadog.

Consulte la Guía de integración de código fuente de Datadog para obtener contexto adicional.

Siga las instrucciones en la Guía de integración de código fuente de Datadog sobre cómo conectar sus repositorios de Azure DevOps a Datadog usando la integración de código fuente de Azure DevOps.

Consulte Datos recopilados para obtener detalles sobre qué datos se recopilan de su proveedor de código fuente.

Permisos de acceso a datos

Si está utilizando roles personalizados en lugar de roles administrados por Datadog, asegúrese de habilitar el Code Coverage Read permiso para los roles que necesitan visualizar los datos de cobertura de código.

Navegue a Configuración de roles, haga clic en Edit en el rol que necesita, agregue el permiso Code Coverage Read al rol y guarde los cambios.

Para un control más detallado, utilice Data Access Control para restringir los datos de cobertura de código por repositorio en lugar de hacerlo en toda su organización. Esto evita que la información confidencial en los informes de cobertura, como las rutas de código fuente y los nombres de las pruebas, cruce los límites de los equipos.

En Datadog, vaya a Organization Settings > Data Access Control y cree un conjunto de datos restringido (Restricted Dataset) con alcance a Software Delivery y al repositorio que desea restringir. Otorgue acceso a los roles o equipos que deban verlo.

PR Gates

Si desea establecer reglas (gates) para la cobertura de PR, puede configurar las reglas de PR Gates de una de estas dos maneras:

  • Interfaz de usuario de Datadog: Navegue a PR Gates rule creation y configure una regla para establecer un control sobre la cobertura total o de parches.
  • Archivo de configuración YAML: Defina las reglas (gates) en su archivo code-coverage.datadog.yml. Esto le permite gestionar las reglas (gates) como código junto con su repositorio.

Las reglas de ambas fuentes se evalúan cuando se abre o se actualiza una solicitud de extracción (pull request). Consulte Configuration para ver la sintaxis y ejemplos de las reglas (gates) en YAML.

Cargar informes de cobertura de código

Cargue los archivos de informes de cobertura de código a Datadog de forma automática, con una biblioteca de Test Optimization compatible, o de forma manual, ejecutando la CLI datadog-ci en su entorno de CI.

Consulte Data Collected para obtener detalles sobre qué datos se recopilan durante la carga de informes de cobertura de código.

Cargar informes automáticamente con Test Optimization

Bibliotecas y versiones compatibles

La carga automática de informes de cobertura de código es compatible con las siguientes versiones de bibliotecas de Test Optimization:

LibraryPrimera versión compatibleFuente de cobertura
Ruby datadog-ci1.27.0SimpleCov
JavaScript dd-trace 5.x5.85.0Cobertura de Jest, Vitest o NYC
JavaScript dd-trace 6.x6.0.0Cobertura de Jest, Vitest o NYC
Python ddtrace4.4.0Complemento de pytest predeterminado que utiliza coverage.py
Java dd-java-agent1.53.0JaCoCo

Estos requisitos de versión se aplican solo a las cargas automáticas realizadas por las bibliotecas de Test Optimization

Habilitar cargas automáticas

Puede aplicar la configuración Code Coverage a nivel de organización, repositorio o servicio de pruebas.

  1. Complete la Test Optimization setup para su biblioteca.

  2. Actualice a una versión de biblioteca compatible.

  3. Active Code Coverage en CI/CD Optimization settings.

    Interruptor de Code Coverage en la configuración de optimización de CI/CD a nivel de organización.
  4. Ejecute un comando de prueba que genere un informe de cobertura desde la fuente enumerada en Bibliotecas y versiones compatibles.

La biblioteca carga el informe a Datadog después de que finaliza el comando.

Para organizar y filtrar los informes cargados por la biblioteca, consulte Agregar indicadores a los informes cargados automáticamente, que enumera las bibliotecas y versiones que admiten DD_CODE_COVERAGE_FLAGS.

Formatos de informe de cobertura compatibles

Datadog admite los siguientes formatos de datos de cobertura; expanda para ver ejemplos:

TN:
SF:src/example.c
FN:3,add
FNDA:5,add
FNF:1
FNH:1
DA:3,5
DA:4,5
DA:5,5
DA:8,0
DA:9,0
LF:5
LH:3
BRDA:4,0,0,5
BRDA:4,0,1,0
BRF:2
BRH:1
end_of_record
mode: atomic
example/calculator.go:51.148,53.2 1 0
example/calculator.go:55.190,61.15 3 0
example/calculator.go:61.15,64.3 2 0
example/calculator.go:66.2,67.16 2 0
example/calculator.go:67.16,69.3 1 0
example/clients/api_client.go:27.87,31.2 3 2
example/clients/api_client.go:34.85,36.2 1 3
example/clients/api_client.go:39.126,44.2 4 3
example/clients/api_client.go:47.106,50.2 2 3
example/notifications/notifier.go:49.79,51.2 1 3
example/notifications/notifier.go:60.33,69.2 1 0
example/notifications/notifier.go:79.131,86.15 3 2
example/notifications/notifier.go:104.3,104.10 1 3
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE coverage SYSTEM "http://cobertura.sourceforge.net/xml/coverage-04.dtd">
<coverage lines-valid="5" lines-covered="3" line-rate="0.6" branches-valid="2" branches-covered="1" branch-rate="0.5" timestamp="1690658886" version="1.9">
  <sources>
    <source>src</source>
  </sources>
  <packages>
    <package name="example" line-rate="0.6" branch-rate="0.5">
      <classes>
        <class name="Example" filename="example/Example.java" line-rate="0.6" branch-rate="0.5">
          <methods>
            <method name="add" signature="(II)I" line-rate="1.0" branch-rate="1.0">
              <lines>
                <line number="3" hits="5"/>
                <line number="4" hits="5" branch="true" condition-coverage="50% (1/2)"/>
                <line number="5" hits="5"/>
              </lines>
            </method>
          </methods>
          <lines>
            <line number="3" hits="5"/>
            <line number="4" hits="5" branch="true" condition-coverage="50% (1/2)"/>
            <line number="5" hits="5"/>
            <line number="8" hits="0"/>
            <line number="9" hits="0"/>
          </lines>
        </class>
      </classes>
    </package>
  </packages>
</coverage>
<?xml version="1.0" encoding="UTF-8"?>
<report name="Example">
  <sessioninfo id="SessionId" start="1690658886000" dump="1690658887000"/>
  <package name="example">
    <sourcefile name="Example.java">
      <line nr="3" mi="0" ci="5"/>
      <line nr="4" mi="0" ci="5" mb="1" cb="1"/>
      <line nr="5" mi="0" ci="5"/>
      <line nr="8" mi="1" ci="0"/>
      <line nr="9" mi="1" ci="0"/>
    </sourcefile>
  </package>
</report>
<coverage generated="1661852015">
    <project timestamp="1661852015">
        <file name="/var/www/html/src/App/Console/CronjobRunnerCommand.php">
            <class name="App\Console\CronjobRunnerCommand" namespace="global">
                <metrics complexity="3" methods="3" coveredmethods="0" conditionals="0" coveredconditionals="0" statements="4" coveredstatements="0" elements="7" coveredelements="0"/>
            </class>
            <line num="18" type="method" name="__construct" visibility="public" complexity="1" crap="2" count="0"/>
            <line num="20" type="stmt" count="1"/>
            <line num="27" type="stmt" count="0"/>
            <line num="30" type="method" name="execute" visibility="protected" complexity="1" crap="2" count="0"/>
            <line num="32" type="stmt" count="0"/>
            <metrics loc="35" ncloc="35" classes="1" methods="3" coveredmethods="0" conditionals="0" coveredconditionals="0" statements="4" coveredstatements="0" elements="7" coveredelements="0"/>
        </file>
        <file name="/var/www/html/src/App/Console/CronjobRunnerCommand2.php">
            <line num="42" type="stmt" count="1"/>
        </file>
    </project>
</coverage>
<?xml version="1.0" encoding="utf-8"?>
<CoverageSession xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
  <Modules>
    <Module hash="ABC123">
      <ModulePath>Example.dll</ModulePath>
      <Files>
        <File uid="1" fullPath="src\example\Example.cs" />
      </Files>
      <Classes>
        <Class>
          <Methods>
            <Method visited="true" cyclomaticComplexity="1" sequenceCoverage="100">
              <FileRef uid="1"/>
              <SequencePoints>
                <SequencePoint vc="5" sl="3" />
                <SequencePoint vc="5" sl="4" />
                <SequencePoint vc="5" sl="5" />
                <SequencePoint vc="0" sl="9" />
              </SequencePoints>
              <BranchPoints>
                <BranchPoint vc="5" sl="4" path="0"/>
                <BranchPoint vc="0" sl="4" path="1"/>
              </BranchPoints>
            </Method>
          </Methods>
        </Class>
      </Classes>
    </Module>
  </Modules>
</CoverageSession>
{
  "meta": {
    "simplecov_version": "0.21.2"
  },
  "coverage": {
    "/path/to/file1.rb": {
      "lines": [
        null,
        1,
        2,
        0,
        null,
        1,
        null,
        null,
        null,
        "ignored",
        "ignored",
        "ignored",
        null
      ],
      "branches": []
    },
    "/path/to/file2.rb": {
      "lines": [1, 1, null, 0, 1],
      "branches": []
    }
  }
}

Instale la CLI de datadog-ci

Si utiliza GitHub Actions, puede omitir este paso de instalación. El método de carga de GitHub Actions a continuación utiliza una acción dedicada que gestiona datadog-ci la instalación automáticamente.

Se proporcionan binarios independientes con lanzamientos de Datadog CI. Se admiten las arquitecturas linux-x64, linux-arm64, darwin-x64, darwin-arm64 (macOS) y win-x64 (Windows). Para instalar, ejecute lo siguiente desde su terminal:

curl -L --fail "https://github.com/DataDog/datadog-ci/releases/latest/download/datadog-ci_linux-x64" --output "/usr/local/bin/datadog-ci" && chmod +x /usr/local/bin/datadog-ci

Luego, ejecute cualquier comando con datadog-ci:

datadog-ci version
curl -L --fail "https://github.com/DataDog/datadog-ci/releases/latest/download/datadog-ci_darwin-x64" --output "/usr/local/bin/datadog-ci" && chmod +x /usr/local/bin/datadog-ci

Luego, ejecute cualquier comando con datadog-ci:

datadog-ci version
Invoke-WebRequest -Uri "https://github.com/DataDog/datadog-ci/releases/latest/download/datadog-ci_win-x64" -OutFile "datadog-ci.exe"

Luego, ejecute cualquier comando con Start-Process -FilePath "datadog-ci.exe":

Start-Process -FilePath "./datadog-ci.exe" -ArgumentList version

npm

Alternativamente, si Node.js está disponible en su entorno de CI, instale la CLI datadog-ci globalmente usando npm:

npm install -g @datadog/datadog-ci

Imagen de Docker

Alternativamente, puede actualizar su trabajo de CI para que se ejecute en un contenedor basado en la imagen de Docker de Datadog CI. La imagen viene con datadog-ci preinstalado y listo para usar.

Carga de informes de cobertura

Datadog agrega automáticamente todos los informes para el mismo commit en el backend. No necesita combinar los informes de cobertura antes de cargarlos.

Para cargar sus informes de cobertura de código a Datadog, ejecute el siguiente comando. Proporcione una clave de API de Datadog válida (DD_API_KEY), y una o más rutas de archivo a los archivos de informe de cobertura directamente o a los directorios que los contienen:

Utilice la Datadog Code Coverage Upload GitHub Action. Esta acción instala y ejecuta automáticamente datadog-ci, por lo que no se requiere configuración adicional:


steps:
- name: Upload coverage reports to Datadog
  uses: DataDog/coverage-upload-github-action@v1
  with:
    api_key: ${{ secrets.DD_API_KEY }}
    site: 

Alternativamente, si tiene datadog-ci instalado, puede ejecutarlo directamente:


steps:
- name: Upload coverage reports to Datadog
  run: datadog-ci coverage upload .
  env:
    DD_API_KEY: ${{ secrets.DD_API_KEY }}
    DD_SITE: 


test:
  stage: test
  script:
    - ... # run your tests and generate coverage reports
    - datadog-ci coverage upload . # make sure to add the DD_API_KEY CI/CD variable

- script: datadog-ci coverage upload --format=clover coverage/clover.xml displayName: 'Upload coverage to Datadog' env: DD_API_KEY: $(DD_API_KEY) DD_SITE: 'datadoghq.com'

El comando busca de forma recursiva en los directorios especificados los archivos de informe de cobertura compatibles, por lo que especificar el directorio actual (.) suele ser suficiente. Consulte la documentación de datadog-ci para obtener más detalles sobre el comando datadog-ci coverage upload.

Poco después de que finalice la subida del informe de cobertura de código, Datadog añade un comentario en la PR con los valores de porcentaje de cobertura de código. Para añadir un desglose por archivo de la cobertura total y de parches al comentario, consulte PR Comments. También puede ver sus datos de cobertura agregados por solicitud de extracción en la Code Coverage page en Datadog, con la capacidad de examinar archivos individuales y líneas de código.

Solución de problemas

El comando de subida de cobertura no detecta los archivos de informe de cobertura

El comando datadog-ci coverage upload detecta automáticamente los archivos de informe de cobertura compatibles en los directorios especificados mediante heurísticas, como nombres de archivo y extensiones. Si sus archivos de informe de cobertura no coinciden con los patrones esperados, es posible que el comando no los detecte automáticamente. En este caso, especifique el formato del informe y proporcione las rutas de archivo como argumentos posicionales. Por ejemplo:

datadog-ci coverage upload --format=lcov \
  src/coverage-reports/unit-tests/coverage.info \
  src/coverage-reports/e2e-tests/coverage.info

La subida de cobertura falla con el error "Format could not be detected"

El comando datadog-ci coverage upload detecta automáticamente el formato de los archivos de informe de cobertura según su contenido y extensión de archivo. Si el comando falla con el siguiente error:

Invalid coverage report file [...]: format could not be detected

especifique el formato explícitamente usando la opción --format, de esta manera:

datadog-ci coverage upload --format=cobertura reports/cobertura.xml

La subida de cobertura arroja el error "Could not sync git metadata"

La carga de metadatos de Git solo es necesaria si no puede integrar su proveedor de CI directamente con Datadog. Si está utilizando una integración de proveedor de código fuente, como la aplicación de Datadog para GitHub o la integración de Gitlab, puede deshabilitar la carga de metadatos de git pasando la bandera --skip-git-metadata-upload=1 al comando datadog-ci coverage upload, de la siguiente manera:

datadog-ci coverage upload --skip-git-metadata-upload=1 .

La interfaz de usuario de Datadog no muestra los archivos modificados en la vista de PR

De forma predeterminada, la tabla “Archivos modificados” solo contiene archivos de código fuente ejecutables que están presentes en los informes de cobertura cargados. Seleccione Non-executable files o All en el encabezado de la tabla para mostrar todos los archivos que se modificaron en la PR, independientemente de si son ejecutables o no.

Si un archivo de código fuente está marcado erróneamente como no ejecutable, es probable que falte en sus informes de cobertura cargados. Asegúrese de cargar todos sus informes relevantes y verifique dos veces la configuración de su herramienta de cobertura para confirmar que los datos de cobertura se recopilen para todos los archivos aplicables.

Las fuentes de prueba no se consideran archivos ejecutables, ya que no forman parte de la base de código de producción que se mide para la cobertura.

La interfaz de usuario de Datadog muestra rutas de archivo incorrectas

Code Coverage depende de que las rutas de archivo en los informes de cobertura sean absolutas o relativas a la raíz del repositorio. Si las rutas en su informe son relativas a un directorio diferente en su repositorio, especifique la ruta base correcta (relativa a la raíz del repositorio) con la opción --base-path al ejecutar el comando datadog-ci coverage upload, de la siguiente manera:

datadog-ci coverage upload --base-path=frontend/src .

Cobertura inexacta de líneas no ejecutables

Algunas herramientas de cobertura incluyen líneas no ejecutables (como comentarios, líneas en blanco y corchetes de cierre) en sus informes, contándolas como no cubiertas. Esto puede reducir sus porcentajes de cobertura y producir falsos negativos para líneas que nunca pueden ejecutarse.

Durante la carga, la CLI escanea automáticamente sus archivos de código fuente para identificar estas líneas no ejecutables, de modo que puedan excluirse de los cálculos de cobertura.

Las correcciones de archivos admiten los siguientes lenguajes: Go, Kotlin, C/C++, Swift, Objective-C y PHP.

Puede controlar este comportamiento con las siguientes opciones:

  • --disable-file-fixes: Deshabilite la generación de correcciones de archivos por completo.
  • --file-fixes-search-path <dir>: Sobrescriba el directorio raíz utilizado para escanear los archivos de código fuente. De forma predeterminada, se utiliza la raíz del repositorio. Esto es útil en monorepos o cuando sus informes de cobertura solo cubren un subconjunto de la base de código, ya que acelera el escaneo al limitar el árbol de directorios recorrido.

Discrepancia entre los valores de la interfaz de usuario de Datadog y el informe de cobertura

Datadog combina automáticamente los informes de cobertura para el mismo commit. Como resultado, el porcentaje de cobertura mostrado en la interfaz de usuario de Datadog puede diferir de los valores en sus informes de cobertura individuales, especialmente si esos informes contienen entradas de archivos de código fuente superpuestas o duplicadas.

Si utiliza una herramienta externa (como ReportGenerator) para combinar informes de cobertura antes de cargarlos en Datadog, asegúrese de que sus informes combinados no contengan entradas de archivos de código fuente duplicadas. Datadog elimina los duplicados de archivos superpuestos en los informes, lo que puede resultar en diferencias entre sus valores de cobertura originales y los valores combinados mostrados en la interfaz de usuario de Datadog.

Para obtener una descripción de cómo se combinan los informes y cómo se cuenta el estado de cada línea, consulte Code Coverage Calculation.

Lecturas adicionales