パースされていないログの監視とクエリ

概要

パースされたログは、クエリ、監視、集計、機密データスキャナーなど自動エンリッチメントなど、Datadog ログ管理を最大限に活用するのに必要なものです。ログの量をスケーリングする際、パイプラインでパースされないログのパターンを特定して修正するのが難しい場合があります。

組織内のパースされていないログの量を特定して制御する方法

特定のログがパイプラインでパースされたかを判断するには、ログを開き [イベントの属性] パネルを確認します。ログがパースされていない場合、パネルにはログから抽出された属性ではなく、属性が抽出されなかった旨のメッセージが表示されます。

パースされていないログをパースするには、カスタムパイプラインを作成するかログインテグレーションをログのソースとして使いパイプラインの自動設定を利用します。

ログの数が多く、1 つずつチェックができない場合は、ログエクスプローラーで datadog.pipelines:false フィルターを使い、パースされていないログをクエリできます。

このフィルターは、パイプライン処理の後、カスタム属性を持たないすべてのインデックス化されたログを返します。パターン集約は、パースされていないログに共通するパターンを集約したビューを表示するため、カスタムパイプラインの作成を促進します。

パースされていないログをクエリすると、パースされていない インデックス化された ログを選択できます。また、アーカイブの内容が構造化されるように、インデックス化しないログでもパースすることをお勧めします。

パースされていないログのメトリクスを作成するには、datadog.pipelines:false クエリを使用してカスタムメトリクスを作成します。

他のログベースのメトリクスは、group by フィールドでディメンションを追加できます。上の例では、service および team でグループ化しています。ログの所有権を定義するために使用するディメンションでグループ化する必要があります。

組織内のログのパースを確実に制御するには、パースされていないログの量に割り当てを設定します。このアプローチは、インデックスの 1 日の割り当てで提案されているものに似ています。

パースされていないログの量を監視する

お役に立つドキュメント、リンクや記事: