処理

概要

構成パネルにアクセスするには、左側の Logs メニューから構成サブメニューを使用します。

ログ構成ページでは、Datadog のパイプラインとプロセッサーでログを処理する方法を制御できます。

パイプラインは、受信ログの一部を絞り込んで取得し、一連のプロセッサーを順次適用します。
プロセッサーは、パイプラインの内部で実行し、ログに対してデータ構造化アクション (属性の再マップ、Grok パースなど) を完了します。

パイプラインとプロセッサーは、以下の種類のログに適用できます。

インテグレーションログ
カスタム JSON/Syslog/フルテキストログ

したがって、ログの記録方法を変更したり、サーバー側の処理ルールに変更をデプロイする必要もありません。すべての処理を Datadog の処理ページ内で構成して実行できます。

ログの処理方法を実装するメリットとして、オーガニゼーションに属性命名規則を適用できることもあげられます。

ログの処理

インテグレーションログ

インテグレーションログに対しては、インテグレーションパイプラインが自動的にインストールされます。ログをパースし、対応するファセットをログエクスプローラーに追加します。以下の ELB ログの例を参照してください。

現在サポートされているインテグレーションのリストは、こちらから確認できます。

カスタムログ

ログの形式は自由にカスタマイズでき、したがってカスタム処理ルールも定義できます。任意のログ構文を使用してすべての属性を抽出し、必要に応じて、それらをよりグローバルな属性や標準的な属性に再マップできます。

例として、以下のようなログにカスタム処理ルールを使用します。

以下のように変換できます。

パイプラインフィルターを使用して、ログの一部にのみアクションを実行する方法については、パイプラインに関するドキュメントを参照してください。

使用可能なプロセッサーのリストについては、プロセッサーに関するドキュメントを参照してください。

Datadog アプリケーションのパース機能自体の詳細については、パーストレーニングガイドを参照してください。パースのベストプラクティスやパースのトラブルシューティングに関するガイドもあります。

ログ管理ソリューションを最適にご利用いただくため、Datadog では Grok プロセッサ内でパイプラインごとに最大 20 件のプロセッサーおよび 10 個のパース規則を使用することをおすすめします。Datadog はサービスのパフォーマンスに悪影響を与える可能性のあるパース規則、プロセッサー、パイプラインを無効化する権利を有しています。

JSON ログの前処理

JSON ログの前処理は、実際のログパイプラインプロセスに入る前にすべてのログに適用されます。前処理は、予約済みの属性に基づき一連のオペレーションを実行します。

受信ログのソースに基づき、新しいログインテグレーションをトリガーします。
受信ログにすべての host タグを付加します。
予約済みの属性リマッパープロセッサー (date リマッパー、status リマッパー、service リマッパー、message リマッパー、trace ID リマッパー) を、すべての JSON 受信ログの関連する JSON 属性に適用します。

JSON ログ前処理は、デフォルトで標準ログフォワーダーに機能するよう構成されています。このコンフィギュレーションは、カスタムまたは特定のログ転送方法に合わせていつでも編集することが可能です。デフォルト値を変更するには、コンフィギュレーションページで Pre processing for JSON logs を編集します。