概要

多くの種類のログは、KPI などの傾向を長期間にわたって追跡するために使用されます。ログからメトリクスを生成することは、CDN ログ、VPC フローログ、ファイアウォールログ、ネットワークログなど、大量のログからログデータを要約するための費用対効果の高い方法です。Generate Metrics プロセッサーを使用して、クエリに一致するログからカウント、ゲージ、またはディストリビューションメトリクスを生成し、そのメトリクスを送信先に送信します。

注: ログから生成され、Datadog にルーティングされたメトリクスは カスタムメトリクス であり、それに応じて課金されます。詳細については、カスタムメトリクスの課金 を参照してください。

セットアップ

プロセッサーをセットアップするには、

Manage Metricsをクリックして、新しいメトリクスを作成するか、既存のメトリクスを編集します。これにより、サイドパネルが開きます。

• メトリクスをまだ作成していない場合は、メトリクスを追加セクションの説明に従ってメトリクスパラメーターを入力し、メトリクスを作成します。
• すでにメトリクスを作成している場合は、概要テーブルでそのメトリクスの行をクリックして編集または削除します。検索バーを使用して名前で特定のメトリクスを検索し、そのメトリクスを選択して編集または削除します。Add Metric をクリックして別のメトリクスを追加します。

メトリクスを追加

1. フィルタークエリを入力します。詳細については、ログ検索構文 を参照してください。
   • フィルターに一致するログのみが処理されます。
   • フィルタークエリに一致するかどうかにかかわらず、すべてのログがパイプラインの次のステップに送信されます。
   • 注: 1 つのプロセッサーで複数のメトリクスを生成できるため、メトリクスごとに異なるフィルタークエリを定義できます。
2. メトリクスの名前を入力します。
3. Define parametersセクションで、メトリクスタイプ (count、gauge、または distribution) を選択します。Count メトリクスの例およびDistribution メトリクスの例を参照してください。詳細については、メトリクスタイプも参照してください。
   • Gauge および Distribution メトリクスタイプの場合、生成されるメトリクスの値として使用する、数値 (または解析可能な数値文字列) の値を持つログフィールドを選択します。
   • Distribution メトリクスタイプの場合、ログフィールドの値は (解析可能な) 数値の配列にすることができ、生成されるメトリクスのサンプルセットとして使用されます。
   • Group by フィールドは、メトリクスの値をどのようにグループ化するかを決定します。たとえば、4 つのリージョンに数百のホストが分散している場合、リージョンごとのグループ化によって、各リージョンに 1 つの直線をグラフ化することができます。Group by にリストされているフィールドは、構成されたメトリクスのタグとして設定されます。
4. Add Metric をクリックします。

メトリクスの送信先を設定する

1. Generate Metrics プロセッサーで、Add Metrics Destination をクリックします。
   注: Pipeline Simulation を使用している場合は、パイプラインページに戻ってメトリクスの送信先を構成してください。パイプラインシミュレーションページの右上隅にある Back to pipeline をクリックします。
2. Datadog メトリクス がデフォルトの送信先です。別の送信先を選択するには、Datadog Metrics の送信先にある鉛筆アイコンをクリックし、Change metrics destination を選択します。
3. 送信先を選択し、特定の 送信先 のセットアップ手順に従います。

メトリクスタイプ

ログに対してこれらのタイプのメトリクスを生成できます。詳細については、メトリクスタイプ および ディストリビューション のドキュメントを参照してください。

Count メトリクスの例

この status:error ログの例の場合:

{"status": "error", "env": "prod", "host": "ip-172-25-222-111.ec2.internal"}

"status":"error" を含み、それらを env および host でグループ化してログの数をカウントする Count メトリクスを作成するには、次の情報を入力します。

Distribution メトリクスの例

次の API レスポンス ログの例の場合:

{
    "timestamp": "2018-10-15T17:01:33Z",
    "method": "GET",
    "status": 200,
    "request_body": "{"information"}",
    "response_time_seconds: 10
}

API 呼び出しに要する平均時間を測定するディストリビューション メトリクスを作成するには、次の情報を入力します:

文字列のタイムスタンプをタイムスタンプ形式に変換

Generate Metrics プロセッサーは、ログのtimestampフィールドがタイムスタンプ型である場合にのみ、そのフィールドを使用してメトリクスのタイムスタンプを設定できます。timestampフィールドが文字列である場合は、代わりにログが処理された時刻が使用されます。ログの timestamp を使用するには、ログを Generate Metrics プロセッサーに送信する前に、文字列をタイムスタンプ型に変換する必要があります。

文字列タイムスタンプをタイムスタンプ形式に変換するには、

1. Generate Metrics プロセッサーの前に、パイプラインに カスタムプロセッサー を追加します。
2. 次のカスタムスクリプトを持つ関数を追加します。

   .timestamp = parse_timestamp!(.timestamp, format: "%+")
   

   See parse_timestamp for more information.

健全性メトリクス

すべてのプロセッサーから送信される コンポーネントメトリクス および プロセッサーバッファメトリクス については、パイプライン使用状況メトリクス のドキュメントを参照してください。

Generate Metrics プロセッサーのメトリクス

• component_id タグを使用して、個々のコンポーネントでフィルタリングまたはグループ化します。
• component_type タグは、このプロセッサーのメトリクスに対して generate_metrics です。

pipelines.generated_metrics_from_logs_total

説明: プロセッサーによってログイベントから生成されたメトリクスの数。

メトリクスタイプ: count