- 重要な情報
- はじめに
- 用語集
- ガイド
- エージェント
- インテグレーション
- OpenTelemetry
- 開発者
- API
- CoScreen
- アプリ内
- Service Management
- インフラストラクチャー
- アプリケーションパフォーマンス
- 継続的インテグレーション
- ログ管理
- セキュリティ
- UX モニタリング
- 管理
_不安定なテスト_とは、同じコミットに対して複数回テストを実行したときに、合格と不合格の両方の状態を示すテストのことです。あるコードをコミットして CI を実行したときにテストが失敗し、再度 CI を実行したときにテストが合格していた場合、そのテストはコードの品質を証明するものとして信頼できません。
不安定なテストは、CI システムや最終製品にリスクと予測不可能性をもたらします。どのテストが不安定なのかを覚えておかなければならない場合、テスト結果に対する信頼が失われ、パイプラインの再試行に膨大な時間とリソースが浪費されることになります。
テストサービスのページで、指定したテストサービスとブランチの Flaky Tests テーブルを確認します。選択した時間枠の中で、不安定なテストがすべて表示されます。
このアプリは、不安定なテストについて以下の情報を提供することで、不安定なテストの優先順位付けを支援します。
修正したい不安定なテストを特定したら、テストをクリックして、直近の失敗したテスト実行または最初の不安定なテスト実行を表示するリンクを参照してください。
不安定なテストは、過去 30 日間失敗しなかった場合、テーブルから自動的に削除されます。テスト行にカーソルを合わせると表示されるごみ箱アイコンをクリックして、不安定なテストを手動で削除することもできます。不安定な動作を再度示された場合は、再度追加されます。
これらは、現在のブランチあるいはリポジトリのデフォルトブランチの Flaky Tests テーブルに以前は存在しなかった、不安定な動作を示すテストです。
true
にチェックを入れます。
上記の定義に従って、初めて不安定な動作を示したすべてのテスト実行が表示されます。特定のコミットに対する新しい不安定なテストが誤って検出されたと判断した場合、そのテストを無視することができます。そのコミットが再び不安定を示すようになれば、テストは再び表示されるようになります。
New Flaky の番号をクリックし、Ignore flaky tests をクリックします。
既知の不安定な失敗したテストとは、リポジトリの現在のブランチあるいはデフォルトブランチにおいて動作が不安定なテストのことです。
true
にチェックを入れます。
上記の定義に従って、不安定であることが分かっている失敗したテスト実行が表示されます。不安定なテスト実行、新規の不安定なテスト実行、または既知の不安定なテスト実行には、クエリのフィルタリング、ダッシュボードやモニターの作成に使用できる属性が含まれています。
名前 | 属性 | 説明 |
---|---|---|
Flaky | @test.is_flaky:true | テスト実行がコミットで不安定になりました。このテスト実行が失敗し、同じテストとコミットに対して以前に実行したテストが合格しているか、あるいはこのテストの実行が合格し、以前に失敗したテストがあるかのどちらかです。この属性は、あるコミットで初めてテストの不安定が検出されたときにのみ存在します。 |
New Flaky | @test.is_new_flaky:true | そのテスト実行はコミット時に (上記の “Flaky” の定義に従って) 失敗したもので、以前はそのテスト実行のブランチあるいはリポジトリのデフォルトブランチの “Flaky tests” テーブルには存在しませんでした。これは、そのテストが “Flaky tests” テーブルに追加されたことも意味します。 |
Known Flaky | @test.is_known_flaky:true | そのテスト実行はコミット時に (上記の “Flaky” の定義に従って) 失敗したもので、そのテスト実行のブランチあるいはリポジトリのデフォルトブランチの “Flaky test” テーブルにすでに存在していました。つまり、このテストは過去に不安定として検出されており、今回の失敗はこのコミットでの変更の結果ではない可能性があるということです。 |