取り込んだログからメトリクスを生成する

概要

Datadog の Logging without Limits* を使用すると、インデックスに含めるものと除外するものを動的に決定できます。同時に、多くのタイプのログが、長期間にわたり KPI などトレンドの追跡テレメトリーとして使用されます。ログベースのメトリクスは、インジェストストリーム全体からログデータを要約するコスト効率の高い方法です。つまり、除外フィルターを使用して調査用に保存するアイテムを制限しても、15 か月間のすべてのログデータの傾向と異常を 10 秒の粒度で視覚化できます。

ログベースのメトリクスを使用すると、クエリや、リクエスト期間のようなログに含まれる数値のディストリビューションメトリクスに一致するログの COUNT メトリクスを生成できます。

請求について: 取り込まれたログから生成されたメトリクスは、カスタムメトリクスとして請求されます。

ログベースのメトリクスを生成する

ログベースのメトリクスを新しく生成するには、Datadog アカウントの Configuration ページで Generate Metrics タブを選択し、New Metric+ ボタンをクリックします。

Export メニューで “Generate new metric” を選択し、Analytics の検索からメトリクスを作成することも可能です。

新しいログベースのメトリクスを追加

1. クエリを入力してログストリームを絞り込み: クエリの構文はログエクスプローラーでの検索と同じです。過去 20 分以内のタイムスタンプで取り込まれたログのみが集計の対象となります。
2. 追跡するフィールドを選択: * を選択してクエリに一致するすべてのログカウントを生成するか、ログ属性 (例: @network.bytes_written) を入力して数値を集計し、該当する count、min、max、sum、avg の集計メトリクスを作成します。ログ属性のファセットがメジャーの場合、メトリクスの値はログ属性の値になります。
3. group by にディメンションを追加: デフォルトでは、明示的に追加しない限り、ログから生成されたメトリクスにタグは付いていません。ログに存在する属性やタグディメンション (例: @network.bytes_written、env) は、いずれもメトリクスタグを作成するために使用できます。メトリクスタグ名は元の属性またはタグ名から @ を抜いたものとなります。
4. パーセンタイル集計を追加: ディストリビューションメトリクスの場合は、オプションでパーセンタイル（p50、p75、p90、p95、p99）で集計できます。パーセンタイルのメトリクスはカスタムメトリクスとしても扱われ、適宜請求に追加されます。
5. メトリクスに命名: ログベースのメトリクス名は、カスタムメトリクスの命名規則に従う必要があります。

注: ログベースのメトリクスのデータポイントは、10 秒間隔で生成されます。ログベースのメトリクスに対してダッシュボードグラフを作成する場合、count unique パラメーターは 10 秒間隔内の値に基づいています。

ログベースのメトリクスを更新する

メトリクスの作成後、以下のフィールドを更新できます。

• Stream filter query: メトリクスに集約される一致するログの組み合わせを変更します
• Aggregation groups: タグを更新するか、生成されたメトリクスのカーディナリティを管理します
• パーセンタイル選択: Calculate percentiles ボックスへのチェックにより、パーセンタイルメトリクスを削除または生成します

メトリクスタイプまたは名前を変更するには、新しいメトリクスを作成する必要があります。

ログ使用メトリクス

使用量メトリクスは、ほぼリアルタイムによる現在の Datadog 使用量の推定値です。これらにより、以下が可能になります。

• 推定使用量をグラフ化します。
• 推定使用量に基づいてモニターを作成します。
• 使用量の急上昇または低下の即時アラートを取得します。
• コードの変更が使用量に及ぼす潜在的な影響をほぼリアルタイムで評価します。

ログ管理の使用量メトリクスには、より詳細な監視に使用できる 3 つのタグがあります。

datadog.estimated_usage.logs.ingested_events メトリクスでは、追加の status タグを使用して、ログのステータス (info、warning など) を反映させることができます。

その他の参考資料

お役に立つドキュメント、リンクや記事:

ログの処理方法ドキュメント