ログの収集とインテグレーション

概要

以下のコンフィギュレーションオプションを選択して、ログの取り込みを開始します。すでに log-shipper デーモンを使用している場合は、Rsyslog、Syslog-ng、NXlog、FluentD、または Logstash の専用ドキュメントを参照してください。

ログを Datadog に直接送信する場合は、使用可能な Datadog ログ収集エンドポイントのリストを参照してください。

注: ログを JSON 形式で Datadog に送信する場合は、Datadog 内にある特定の予約属性を使用します。詳細については、予約属性セクションをご覧ください。

セットアップ

1. Datadog Agent をインストールします。
2. ログ収集を有効にするには、Agent のメインコンフィギュレーションファイル (datadog.yaml) で logs_enabled: false を logs_enabled: true に変更します。より詳細な情報と例については、ホスト Agent ログ収集のドキュメントを参照してください。
3. Datadog Agent を有効にすると、ログファイルの尾行または UDP/TCP 経由で送信されるログのリスニング、ログのフィルタリングまたは機密データのスクラビング、複数行ログの集約を構成することができるようになります。

1. Datadog Agent をインストールします。
2. ログ収集を有効にするには、Agent のメインコンフィギュレーションファイル (datadog.yaml) で logs_enabled: false を logs_enabled: true に変更します。より詳細な情報と例については、ホスト Agent ログ収集のドキュメントを参照してください。
3. アプリケーション言語のインストール手順に従い、ロガーを構成し、ログの生成を開始します。

コンテナまたはオーケストレーターのプロバイダーを選択し、そのプロバイダー専用のログ収集手順に従います。

注:

• Datadog Agent では、ロギングドライバーを使用することなく、コンテナの stdout/stderr からログを直接収集できます。Agent の Docker チェックが有効にされていると、コンテナとオーケストレーターのメタデータがタグとしてログに自動的に追加されます。

• すべてのコンテナからログを収集することも、コンテナイメージ、ラベル、または名前でフィルタリングされたサブセットのみを収集することも可能です。

• オートディスカバリーは、コンテナラベルで直接ログ収集を構成するために使用することもできます。

• Kubernetes 環境では daemonSet も活用できます。

環境から Datadog にログを送信する AWS Lambda 関数である Datadog Forwarder を使用します。AWS サーバーレス環境でログ収集を有効にするには、Datadog Forwarder のドキュメントを参照してください。

以下からクラウドプロバイダーを選択すると、ログを自動的に収集して Datadog に転送する方法を確認できます。

Datadog のインテグレーションとログ収集は連携しています。インテグレーションのデフォルト構成ファイルを使用すると、Datadog で専用のプロセッサー、パース、およびファセットを有効にできます。インテグレーションでログ収集を開始するには:

1. インテグレーションページからインテグレーションを選択し、セットアップの指示に従います。
2. インテグレーションが提供するログ収集の手順に従ってください。このセクションでは、そのインテグレーションの conf.yaml ファイルにある logs セクションのコメントを解除し、環境に合わせて構成する方法について説明します。

追加のコンフィギュレーションオプション

ログのエンドポイント

Datadog では、SSL で暗号化された接続と暗号化されていない接続の両方にログのエンドポイントが提供されます。可能な場合は常に、暗号化されたエンドポイントを使用してください。Datadog Agent では、暗号化されたエンドポイントを使用して、ログが Datadog に送信されます。詳細は、Datadog のセキュリティに関するドキュメントで確認できます。

サポートされるエンドポイント

ページの右側にあるサイトセレクターのドロップダウンを使用して、Datadog サイトごとにサポートされているエンドポイントを確認できます。

カスタムログ転送

TCP または HTTP 経由でログを転送できるカスタムプロセスまたはロギングライブラリを、Datadog ログと共に使用​​できます。

telnet intake.logs.datadoghq.com 10514 
<DATADOG_API_キー> TCP 経由で直接送信されるログ

telnet intake.logs.datadoghq.com 10514
<DATADOG_API_キー> {"message":"json formatted log", "ddtags":"env:my-env,user:my-user", "ddsource":"my-integration", "hostname":"my-hostname", "service":"my-service"}

telnet agent-intake.logs.datadoghq.eu 443
<DATADOG_API_KEY> Log sent directly via TCP

telnet intake.logs.datadoghq.com 10514
<DATADOG_API_キー> {"message":"json formatted log", "ddtags":"env:my-env,user:my-user", "ddsource":"my-integration", "hostname":"my-hostname", "service":"my-service"}

注:

• HTTPS API は、最大で 1MB のサイズのログをサポートします。ただし、最適なパフォーマンスには各ログが 25K バイトを超えないことをおすすめします。ログ作成に Datadog Agent を使用する場合、ログは 256kB (256000 バイト) に分割されるよう構成されています。
• 1 つのログイベントが持つことができるタグは 100 個以下です。1 日あたり最大 1,000 万個の一意のタグに対して、各タグは 256 文字を超えてはなりません。
• JSON 形式に変換されたログイベントが保持できる属性は 256 未満です。これらの各属性のキーは 50 文字未満、連続するネストのレベルは 10 未満、 それぞれの値は (ファセットに昇格した場合) 1024 文字未満となります。
• ログイベントは過去 18 時間、未来の 2 時間まで送信が可能です。

上の制限に準拠しないログイベントは、システムによって変換されるか、切り詰められます。または、所定のタイムレンジ外の場合はインデックス化されません。ただし、Datadog はユーザーデータを可能な限り維持するよう全力を尽くします。

属性とタグ

属性は、ログエクスプローラーでのフィルタリングと検索に使用されるログファセットを規定します。予約済み属性および標準属性のリストと、ログ属性とエイリアス設定を使用した命名規則のサポート方法については、専用の属性とエイリアス設定ドキュメントをご参照ください。

スタックトレースの属性

スタックトレースをログに記録するに当たっては、Datadog アプリケーション内に専用の UI 表示を持つ特別な属性があります。ロガー名、現在のスレッド、エラーの種類、スタックトレース自体などです。

この機能を使用するには、以下の属性名を使用します。

注: インテグレーションパイプラインは、デフォルトのログライブラリパラメーターをこれらの属性に再マップし、スタックトレースをパースまたはトレースバックして、自動的に error.message と error.kind を抽出しようとします。

詳しくは、ソースコードと属性ドキュメントをご覧ください。

次のステップ

ログが収集されて取り込まれると、ログエクスプローラーで利用できるようになります。ログエクスプローラーでは、ログのアラートを検索、強化、表示できます。ログエクスプローラーのドキュメントを参照してログデータの分析を開始するか、以下の追加のログ管理ドキュメントを参照してください。

その他の参考資料

お役に立つドキュメント、リンクや記事:

Logrotate を使ったログファイルの管理方法ブログ ログの処理方法についてDOCUMENTATION パースの詳細DOCUMENTATION Datadog Live Tail 機能DOCUMENTATION ログの調査方法DOCUMENTATION Logging Without Limits*DOCUMENTATION