CI モニター

検索クエリを定義する

1. CI エクスプローラーでの検索と同じロジックを使用して検索クエリを作成します。
2. CI パイプラインイベントのレベルを選択します。
   • Pipeline: 通常、1 つ以上のジョブで構成されるパイプライン全体の実行を評価します。
   • Stage: 1 つ以上のジョブのグループをサポートする CI プロバイダーでの実行を評価します。
   • Job: コマンド群の実行を評価します。
   • Command: ジョブで実行される個々のコマンドである、手動でインスツルメントされたカスタムコマンドイベントを評価します。
   • All: あらゆる種類のイベントを評価します。
3. CI パイプラインのイベント数、ファセット、またはメジャーのモニタリングを選択します。
   • CI Pipeline event count: 検索バーを使用し (任意)、ファセットまたはメジャーは選択しません。選択されたタイムフレームで Datadog が CI パイプラインイベント数を評価し、それをしきい値の条件と比較します。
   • Dimension: ディメンション (質的ファセット) を選択し、そのファセットの Unique value count に対してアラートを表示します。
   • Measure: CI Pipeline ファセットの数値に対してアラートを出すためのメジャー (定量ファセット) を選択します (メトリクスモニターに似ています)。集計方法 (min、avg、sum、median、pc75、pc90、pc95、pc98、pc99、または max) を選択します。
4. 複数のディメンションで CI パイプラインイベントをグループ化する (オプション):
   • クエリに一致するすべての CI パイプラインイベントは、最大 4 つのファセットの値に基づいてグループに集約されます。
5. アラート設定のグループ化方法を構成します（任意）:
   • クエリに group by が含まれる場合、グループパラメーターに従い、複数のアラートを各ソースに適用します。アラートイベントは、設定された条件を満たすと各グループに生成されます。たとえば、クエリを @ci.pipeline.name でグループ化すると、エラーの数が多い場合に CI パイプラインごとに個別のアラートを受信することができます。

数式と関数の使用

数式と関数を使用して CI パイプラインを作成できます。これは、たとえばパイプラインの失敗率(エラー率）など、イベントの発生率のモニターを作成する場合に使用できます。

次の例は、ci.pipeline.name (パイプラインごとに 1 回アラートする) でグループ化された “全パイプラインイベント数” (フィルターなし) に対する “失敗パイプラインイベント数” (ci.status=error) の割合を計算する式を使ったパイプラインエラー率モニターの例です。詳しくは、関数の概要を参照してください。

検索クエリを定義する

1. 共通モニタータイプ: (オプション) New Flaky Test、Test Failures、Test Performance 共通モニタータイプごとにテンプレートクエリを提供し、カスタマイズすることが可能です。この機能の詳細については、新しい不安定なテストの追跡を参照してください。
2. CI Test エクスプローラーの検索と同じロジックで検索クエリを作成します。たとえば、myapp というテストサービスの main ブランチに対して失敗したテストを検索するには、クエリ @test.status:fail @git.branch:main @test.service:myapp を使用します。
3. CI Test のイベント数、ファセット、またはメジャーのモニタリングを選択します。
   • CI Test event count: 検索バーを使用し (任意)、ファセットまたはメジャーは選択しません。選択されたタイムフレームで Datadog が CI パイプラインイベント数を評価し、それをしきい値の条件と比較します。
   • Dimension: ディメンション (質的ファセット) を選択し、そのファセットの Unique value count に対してアラートを表示します。
   • Measure: CI Pipeline ファセットの数値に対してアラートを出すためのメジャー (定量ファセット) を選択します (メトリクスモニターに似ています)。集計方法 (min、avg、sum、median、pc75、pc90、pc95、pc98、pc99、または max) を選択します。
4. 複数のディメンションで CI Test イベントをグループ化する (オプション):
   • クエリに一致するすべての CI Test イベントは、最大 4 つのファセットの値に基づいてグループに集約されます。
5. アラート設定のグループ化方法を構成します（任意）:
   • クエリに group by がある場合、グループパラメーターにしたがって、すべてのソースに対してアラートが送信されます。設定された条件を満たす各グループに対してアラートイベントが生成されます。例えば、クエリを @test.full_name でグループ化し、エラー数が多い場合に CI Test フルネーム毎に個別のアラートを受信することができます。テストのフルネームはテストスイートとテスト名の組み合わせで、例えば MySuite.myTest のようなものです。Swift では、テストのフルネームはテストバンドルとスイートと名前の組み合わせで、例えば MyBundle.MySuite.myTest のような名前になります。

異なるパラメーターや構成でのテスト実行

同じテストのフルネームで、異なるテストパラメーターや構成のテストがある場合、モニターの group by で @test.fingerprint を使用します。こうすることで、特定のパラメーターや構成でテストを実行した場合に警告を発することができます。@test.fingerprint を使用すると、Commit Overview ページにある Test Stats, Failed and Flaky Tests セクションと同じ粒度レベルが提供されます。

例えば、同じフルネームのテストが Chrome では失敗し、Firefoxでは合格した場合、フィンガープリントを使用すると、Chrome のテスト実行時にのみアラートが発生します。

この場合、@test.full_name を使用すると、Firefox 上でテストに合格していても、警告が表示されます。

数式と関数

数式と関数を使用して CI Test を作成できます。たとえば、これはテストの失敗率 (エラー率) など、イベントの発生率のモニターを作成する場合に使用できます。

以下は、テストエラー率モニターの例です。「テストイベント総数」(フィルターなし) に対する「失敗したテストイベント」(@test.status:fail) の割合を計算する数式を使用し、@test.full_name でグループ化 (テストごとにアラート) されています。詳しくは、関数の概要をご覧ください。

CODEOWNERS を利用した通知

テストイベントで利用可能な CODEOWNERS の情報を使って、異なるチームに通知を送信することができます。

以下の例では、次のロジックで通知を構成しています。

• もしテストコードのオーナーが MyOrg/my-team ならば、my-team-channel Slack チャンネルに通知を送ります。
• もしテストコードのオーナーが MyOrg/my-other-team ならば、my-other-team-channel Slack チャンネルに通知を送ります。

{{#is_match "citest.attributes.test.codeowners" "MyOrg/my-team"}}
  @slack-my-team-channel
{{/is_match}}
{{#is_match "citest.attributes.test.codeowners" "MyOrg/my-other-team"}}
  @slack-my-other-team-channel
{{/is_match}}

モニターの Notification message セクションに、上記のコードスニペットのようなテキストを追加して、モニター通知の設定をします。is_match 句は必要なだけ追加することができます。Notification 変数については、条件付き変数の監視を参照してください