Test Optimization Explorer

문서 > Test Optimization in Datadog > Test Optimization Explorer

개요

Test Optimization Explorer를 통해 태그를 사용하여 여러 수준에서 테스트 실행을 검색 및 필터링, 시각화, 내보내기할 수 있습니다.

Software Delivery** > Test Optimization > Test Runs으로 이동하여 Session, Module, Suite 및 Test 수준에서 CI 테스트 실행 결과를 확인합니다. 각 테스트 수준은 서로 다른 수준의 테스트 집계를 나타냅니다.

일반 패싯

왼쪽의 Test 패널에는 테스트 실행을 검색하는 데 사용할 수 있는 기본 패싯이 나와 있습니다.

패싯	설명
Test Status	테스트 결과로 `Passed`, `Failed`, 또는 `Skipped`가 있습니다.
기간	테스트 완료하는 데 걸린 시간입니다.
Test Service	CI Visibility를 사용해 계측한 테스트 서비스입니다.
Test Full Name	테스트 이름, 테스트 제품군 이름, 구성 또는 파라미터(있는 경우)를 포함하는 테스트 식별자입니다.
Test Name	테스트 사례에 대한 간략한 이름. 테스트에서 정의됩니다.
테스트 스위트	언어 및 테스트 프레임워크에 따라 동일한 코드 단위를 실행하는 테스트 그룹입니다.
Flaky	동일한 커밋에 대해 여러 테스트 실행에서 통과 및 실패 상태를 모두 표시합니다.
Has Parameters	테스트에 파라미터가 있는지 여부. `true` 또는 `false`입니다.
Known Flaky	테스트가 `true` 또는 `false`로 일관되지 않을 수 있습니다. 이 테스트 실행은 실패하여 테스트가 현재 브랜치나 기본 브랜치에서 일관되지 않은 테스트로 식별됩니다.
언어	테스트가 생성된 라이브러리의 프로그래밍 언어입니다.
New Flaky	`true` 또는 `false`로 일관되지 않은 테스트가 발생한 적이 있는지 여부. 테스트 실행이 커밋에서 비일관된 테스트로 식별됩니다. 테스트가 현재 브랜치나 기본 브랜치에서 일관되지 않은 테스트로 식별된 적 없습니다.
Performance Regression
테스트 시간이 평균의 5배이고 기본 브랜치의 동일 테스트 최대 시간보다 큰 경우 테스트 실행이 회귀로 표시됩니다.
Baseline Mean	테스트 회귀의 경우 지난주 테스트 실행 동안 계산된 기본 브랜치의 동일한 기간 평균을 의미합니다.
Baseline Standard Deviation	테스트 회귀의 경우 지난주 테스트 실행 기간에 계산된 기본 브랜치의 동일한 테스트에 대한 표준 편차를 의미합니다.
Absolute Change	테스트 회귀에서 기준 평균과 비교한 테스트 실행 기간에 대한 절대적 변경을 의미합니다.
Relative Change	테스트 회귀에서 기준 평균 대비 테스트 실행 기간에 대한 상대적 변경을 의미합니다.
Standard Deviation Change	테스트가 신규로 추가되었는지 나타냅니다.
Test Code Owners	리포지토리 구성에서 추론된 테스트 코드 소유자 이름입니다.
Test Fingerprint	개별 테스트 실행에 대한 고유 식별자입니다.
Test Framework	테스트 생성 및 실행에 사용된 기본 프레임워크 또는 일련의 툴입니다.
Test Command	테스트 실행에 사용된 명령입니다.
Test Bundle	테스트 모듈과 동등합니다. 이전 Datadog 테스트 라이브러리 버전에서 사용됩니다.
테스트 전체 이름	테스트 전체 이름입니다.
Test Module	테스트 모듈은 언어에 따라 다릅니다. .NET에서는 테스트 모듈은 동일한 유닛 테스트 프로젝트에서 실행되는 모든 테스트를 그룹화합니다. Swift에서는 테스트 모듈이 주어진 번들에 실행되는 모든 테스트를 그룹화합니다. JavaScript에서 테스트 모듈은 테스트 세션에 일대일로 매핑됩니다. Java에서 테스트 모듈은 동일한 Maven Surefire, Failsafe 또는 Gradle 테스트 작업 실행으로 실행되는 모든 테스트를 그룹화합니다. Python에서 테스트 모듈은 일반적으로 `unittest` 또는 `pytest`와 같은 프레임워크에서 관리되는 테스트 제품군의 일부로 동일한 `.py` 파일에서 실행되는 모든 테스트를 그룹화합니다. Ruby에서 테스트 모듈은 일반적으로 `RSpec` 또는 `Minitest`와 같은 프레임워크에서 관리되는 동일한 테스트 파일 내에서 실행되는 모든 테스트를 그룹화합니다.
Test Traits	`category:flaky`와 같은 테스트 특징입니다.
Test Type	`unit benchmark` 또는 `browser`와 같은 테스트 유형입니다.
RUM Active	테스트가 활성 실제 사용자 모니터링 웹 세션 내부에서 실행되는지를 나타냅니다.
Is New	테스트가 신규로 추가되었는지 나타냅니다.
Is Retry	테스트가 재시도 결과로 실행되었는지 나타냅니다.
Code Coverage Enabled	Test Impact Analysis가 세션에 대해 테스트당 코드 지원 범위를 활성화했는지 나타냅니다.
Skipped by ITR	Test Impact Analysis에 의해 세션 동안 건너 뛴 테스트 수입니다.
Test Skipping Enabled	테스트 세션 또는 모듈이 Test Impact Analysis를 사용해 건너뛰도록 허용되었는지 나타냅니다.
Test Skipping Type	Test Impact Analysis에서 사용된 메서드 또는 기준으로 건너 뛸 테스트를 결정하는 데 사용됩니다.
Test Skipped	테스트 세션 중에 실행되지 않은 테스트의 총 개수로, 건너 뛰도록 구성되었거나 수동 제외로 설정된 테스트가 포함될 수 있습니다.
Time Saved	Test Impact Analysis 사용으로 세션에 절약한 시간입니다.
Early Flake Detection Enabled	Early Flake Detection를 사용하여 테스트를 실행했는지 여부를 나타냅니다.
Early Flake Detection Abort Reason	테스트의 Early Flake Detection 금지 이유를 나타냅니다.

Test Optimization Explorer에서 검색 쿼리의 일부로 사용할 수 있는 일반적인 패싯에 대한 자세한 정보는 테스트 실행 패싯을 참조하세요.

세션

테스트 세션은 가장 높은 수준의 집계입니다. yarn test, mvn test 또는 dotnet test와 같은 테스트 명령에 일대일로 대응합니다.

JUnit 보고서 업로드의 경우 업로드되는 보고서 파일당 1개의 세션이 있습니다.

모듈

모듈의 정의는 언어마다 조금씩 다릅니다.

.NET에서 테스트 모듈은 동일한 단위 테스트 프로젝트에서 실행되는 모든 테스트를 그룹화합니다.
Swift에서 테스트 모듈은 지정된 번들에 실행되는 모든 테스트를 그룹화합니다.
JavaScript에서 테스트 모듈은 테스트 세션에 일대일로 매핑됩니다.
Java에서 테스트 모듈은 동일한 Maven Surefire/Failsafe 또는 Gradle Test 작업으로 실행되는 모든 테스트를 그룹화합니다.
JUnit 보고서 업로드에서 테스트 모듈은 테스트 세션에 일대일로 매핑됩니다.

모듈의 예는 SwiftLintFrameworkTests이며, 이는 SwiftLint의 테스트 대상에 해당합니다.

Suite

테스트 제품군은 동일한 코드 단위를 실행하는 테스트 그룹입니다.

테스트 제품군의 예는 src/commands/junit/__tests__/upload.test.ts이며, 이는 datadog-ci의 테스트 파일에 해당합니다.

테스트 실행 데이터는 대시보드와 노트북에서 사용할 수 있기 때문에 빌드 엔지니어링 팀에서 우선순위가 높은 작업과 시간 경과에 따른 CI 트렌드에 따라 커뮤니케이션을 맞춤화할 수 있습니다.

검색 및 필터링

왼쪽의 패싯을 클릭하거나 검색창에 사용자 지정 쿼리를 직접 작성하여 테스트 실행의 하위 집합으로 범위를 좁히거나, 넓히거나, 초점을 이동할 수 있습니다. 패싯을 선택하거나 선택 해제하면 검색창에 변경 사항이 자동으로 반영됩니다. 마찬가지로 검색창 쿼리를 수정하거나 검색창에 처음부터 쿼리를 작성하여 왼쪽의 패싯을 선택하거나 선택을 해제할 수 있습니다.