スコアカード構成

Scorecards はプレビュー版です。

Datadog では、デフォルトのルールセットに基づき、以下のスコアカードをすぐに利用できます: Production Readiness、Observability Best Practices、Ownership & Documentation。

デフォルトのスコアカードの設定

デフォルトの各スコアカードについて、評価基準となる標準ルールを選択するには:

Software Catalog の Scorecards ページを開きます。
スコアの計算方法をカスタマイズするルールを有効または無効にします。
View your scores をクリックすると、定義したサービス全体で、選択したルールに対する進捗状況の追跡が開始されます。

サービスの評価方法

デフォルトのスコアカードが設定されると、Software Catalog の Scorecards ページに、標準ルールの一覧と、それらのルールに合格しているサービスの割合が表示されます。ルールをクリックすると、合格しているサービスと不合格のサービス、およびそれらのサービスを担当するチームの詳細が表示されます。

Production Readiness

すべてのサービスにおける Production Readiness スコアは、特に明記されていない限り、以下のルールに基づいて算出されます。

Have any SLOs defined (SLO が定義されている): サービスレベル目標 (SLO) は、アプリケーションのパフォーマンスに関して明確なターゲットを定義するためのフレームワークを提供するもので、一貫したカスタマーエクスペリエンスを提供し、プラットフォームの安定性と機能開発のバランスを取り、内部および外部ユーザーとのコミュニケーションを改善するのに役立ちます。
Have any monitors defined (モニターが定義されている): モニターを利用して環境の問題に迅速に対応することで、ダウンタイムを削減できます。モニターテンプレートを確認してください。
Specified on-call (オンコール担当が指定されている): サービスの責任の所在を明確にすることで、すべての関係者にとってオンコール対応を改善します。これにより、オンコールエンジニアはインシデント発生時に適切な連絡先を把握でき、インシデントの解決に要する時間を短縮できます。
Last deployment occurred within the last 3 months (直近のデプロイメントが 3 か月以内に行われた): APM または USM によって監視されているサービスが対象。アジャイル開発の実践により、ユーザーからのフィードバックに迅速に対応し、エンドユーザーにとって最も重要な機能の開発に軸足を移すことができます。

Observability Best Practices

Observability Best Practices スコアは、以下のルールに基づいて算出されます。

Deployment tracking is active (デプロイメントトラッキングが有効になっている): APM または USM によって監視されているサービスが対象です。統合サービスタグ付けでバージョンタグを実装することで、スムーズなロールアウトを実現できます。機能の新バージョンをロールアウトすると、Datadog はエラー率やリクエスト数などにおけるバージョン間の差異を検出してアラートを生成します。これにより、エンドユーザーエクスペリエンスを向上させるために、以前のバージョンにロールバックすべきタイミングを把握できます。
Logs correlation is active (ログの相関付けが有効になっている): APM サービスが対象で、過去 1 時間に検出されたログに基づいて評価されます。APM とログの相関付けにより、エンドユーザーに関わる問題のトラブルシューティングを迅速化し、インシデントや障害の際の対応時間を削減できます。

Ownership & Documentation

Ownership & Documentation スコアは、以下のルールに基づいて算出されます。

Team defined (チームが定義されている): チームを定義することで、オンコールスタッフは、自分がよく知らないサービスが問題の根本原因である場合に、どのチームにエスカレーションすべきかを把握しやすくなります。
Contacts defined (連絡先が定義されている): 連絡先を定義することで、オンコールスタッフが別のサービスのオーナーにエスカレーションする時間を短縮し、障害やインシデントからより迅速にサービスを復旧させることができます。
Code repos defined (コードリポジトリが定義されている): コードリポジトリを特定することで、エンジニアはサービスの所有チームに連絡することなく、問題の初期調査を行うことができます。これにより、コラボレーションがよりスムーズになり、エンジニアは統合ポイントに関する総合的な理解を深めることができます。
Any docs defined (ドキュメントが 1 つ以上定義されている): Software Catalog の Other Links セクションで、ランブック、ダッシュボード、その他の内部ドキュメントなどのリソースへの追加リンクを指定します。これにより、初期調査に役立ち、障害やインシデントの際に緊急対応用のランブックへすばやくアクセスできます。

スコアの計算方法

すぐに使える各スコアカード (Production Readiness、Observability Best Practices、Ownership & Documentation) は、デフォルトのルールセットで構成されています。これらのルールは合否の条件を反映しており、1 日に 1 回自動的に評価されます。カスタムルールに対するサービスのスコアは、Scorecards API を使用して送信された結果に基づき算出されます。サービスのスコアの計算から特定のカスタムルールを除外するには、Scorecards API でその結果を skip に設定します。

個々のルールには、データの利用可能性に基づく制限がある可能性があります。たとえば、デプロイメント関連のルールは、APM 統合サービスタグ付けを介したバージョンタグの利用可能性に依存します。

各ルールには、そのルールに合格しているサービスの割合がスコアとして表示されます。各スコアカードには、すべてのルールにわたる合格状況を集計した総合スコア率が表示されます。これは、すべてのルールに合格しているサービス数を示すものではありません。スキップされたルールと無効化されたルールは、この計算に含まれません。

ルールをレベル分けする

ルールをレベルごとにグループ化し、その重要度によって分類することができます。3 つのレベルが予め定義されています。

レベル 1 - 基本ルール: オンコールオーナーの指定、モニタリングの整備、チームの定義など、すべての本番サービスに求められる基本要件を反映したルールです。
レベル 2 - 中間レベルのルール: これらのルールは、ほとんどのサービスで採用すべき堅実なエンジニアリングプラクティスを反映しています。たとえば、SLO の定義や Software Catalog 内でのドキュメントへのリンク設定などがあります。
レベル 3 - 高度なルール: これらは、成熟したエンジニアリングプラクティスを示す、目指すべきルールです。すべてのサービスに当てはまるとは限りませんが、チームにとって価値のある目標です。

レベルの設定は、標準のルールでもカスタムルールでも行うことができます。デフォルトでは、レベルの設定されていないルールは自動的にレベル 3 に分類されます。このデフォルトの割り当ては、ルールを編集することで変更できます。

Scorecards の UI では、スコアカードまたはレベルごとにルールをグループ化できます。Software Catalog では、特定のサービスがどのようにレベルアップしているかを追跡できます。各サービスは Level 0 からスタートします。レベル 1 のルールにすべて合格すると Level 1 となり、最終的には Level 3 のステータスに到達します。

サービスのレベル別のステータスが表示された Software Catalog の Scorecards ビュー

スコアカードのルールのスコープ設定

スコープを設定することで、Software Catalog のエンティティ定義のメタデータを使用して、ルールの適用対象となるエンティティを定義できます。スコープが定義されていない場合、ルールはカタログ内のすべての定義済みサービスに適用されます。team、tier、カスタムタグなど、エンティティ定義内の任意のフィールドを使ってスコープを設定できます。

デフォルトでは、サービスがルールの評価対象となるには、指定されたすべての条件に一致している必要があります。OR ステートメントを使用することで、同じフィールドに複数の値を含めることができます。