ログ収集とインテグレーション

概要

ログの取り込みを開始するには、下記の設定オプションのいずれかを選択します。すでに log-shipper デーモンを使用している場合は、RsyslogSyslog-ngNXlogFluentD、または Logstash の専用ドキュメントを参照してください。

ログを Datadog に直接送信する場合は、利用可能な Datadog ログ収集エンドポイントのリストを参照してください。

: JSON 形式のログを Datadog に送信する場合、Datadog 内で特定の意味を持つ予約済み属性のセットがあります。詳細は、予約済み属性セクションを参照してください。

##セットアップ {#setup}

  1. Datadog Agent をインストールします。 2.ログ収集を有効にするには、Agent のメイン設定ファイル (datadog.yaml) で logs_enabled: falselogs_enabled: true に変更します。詳細と例については、ホスト Agent のログ収集ドキュメントを参照してください。 3.有効にすると、Datadog Agent で、ログファイルのテールまたは UDP/TCP 経由で送信されるログのリスニングログのフィルタリングまたは機密データのスクラビング、および 複数行ログの集計を設定できるようになります。
  1. Datadog Agent をインストールします。 2.ログ収集を有効にするには、Agent のメイン設定ファイル (datadog.yaml) で logs_enabled: falselogs_enabled: true に変更します。詳細や例については、ホスト Agent のログ収集ドキュメントを参照してください。 3.アプリケーション言語のインストール手順に従ってロガーを設定し、ログの生成を開始します。
Java
Python
go
Ruby
.Net
PHP
Node.js
Javascript
React Native
Android
ios
Flutter
Roku
Kotlin Multiplatform

コンテナまたはオーケストレーターのプロバイダーを選択し、専用のログ収集手順に従います。

Docker
Kubernetes
Red Hat OpenShift
Amazon ECS
ECS Fargate

:

  • Datadog Agent は、ロギングドライバーを使用せずにコンテナの stdout/stderr から直接ログを収集できます。Agent の Docker チェックが有効な場合、コンテナとオーケストレーターのメタデータがタグとしてログに自動的に追加されます。

-すべてのコンテナからログを収集することも、コンテナイメージ、ラベル、または名前でフィルタリングされたサブセットのみから収集することも可能です。

-Autodiscovery を使用して、コンテナラベルで直接ログ収集を設定することもできます。

-Kubernetes 環境では、DaemonSet インストール を活用することもできます。

環境から Datadog へログを送信する AWS Lambda 関数である Datadog Forwarder を使用します。AWS サーバーレス環境でログ収集を有効にするには、Datadog Forwarder のドキュメントを参照してください。

下記からクラウドプロバイダーを選択し、ログを自動的に収集して Datadog に転送する方法を確認してください。

Docker
Kubernetes
Amazon ECS
Oracle Cloud Infrastructure
Amazon ECS

Datadog のインテグレーションとログ収集は連携しています。インテグレーションのデフォルト設定ファイルを使用して、Datadog で専用のプロセッサーパースファセットを有効にできます。インテグレーションでログ収集を開始するには:

  1. インテグレーションページからインテグレーションを選択し、セットアップ手順に従います。 2.インテグレーションのログ収集手順に従います。このセクションでは、そのインテグレーションの conf.yaml ファイルにある logs セクションのコメントを解除し、環境に合わせて構成する方法について説明します。

##データ転送料金の削減 {#reduce-data-transfer-fees}

Datadog の Cloud Network Monitoring を使用して、組織内で特にスループットの高いアプリケーションを特定します。サポートされているプライベート接続を介して Datadog に接続し、プライベートネットワーク経由でデータを送信することで、パブリックインターネットを回避し、データ転送料金を削減します。プライベートリンクに切り替えた後、Datadog の Cloud Cost Management ツールを使用して影響を確認し、クラウドコストの削減をモニタリングします。

詳細については、データ転送料金を削減しながら Datadog にログを送信する方法を参照してください。

カスタム Agent インテグレーションを開発している場合は、send_log メソッドを使用して Agent チェック内からプログラムでログを送信できます。これにより、カスタムインテグレーションでメトリクス、イベント、サービスチェックと並行してログを出力できるようになります。

カスタム Agent チェックからログを送信する方法については、Agent インテグレーションのログ収集を参照してください。

追加の設定オプション

ログエンドポイント

Datadog は、SSL 暗号化接続と非暗号化接続の両方のログエンドポイントを提供しています。可能な場合は、暗号化エンドポイントを使用してください。Datadog Agent は、暗号化エンドポイントを使用して Datadog にログを送信します。詳細については、Datadog セキュリティドキュメントを参照してください。

####サポートされるエンドポイント {#supported-endpoints}

ページ右側のサイト セレクタードロップダウンを使用して、Datadog サイトごとのサポートされるエンドポイントを確認してください。

サイトタイプエンドポイントポート説明
HTTPS443カスタムフォワーダーが HTTPS 経由で JSON またはプレーンテキスト形式のログを送信するために使用されます。ログ HTTP API ドキュメントを参照してください。
HTTPS443Agent が HTTPS 経由で JSON 形式のログを送信するために使用されます。ホスト Agent のログ収集ドキュメントを参照してください。
HTTPS443Lambda 関数が HTTPS 経由で raw、Syslog、または JSON 形式のログを送信するために使用されます。
HTTPSlogs.443Browser SDK が HTTPS 経由で JSON 形式のログを送信するために使用されます。

カスタムログ転送

HTTP を介してログを転送できるカスタムプロセスやロギングライブラリは、Datadog Logs と組み合わせて使用できます。

HTTP 経由で Datadog プラットフォームにログを送信できます。開始するには、Datadog ログ HTTP API ドキュメントを参照してください。

:

  • HTTPS API は、最大 1MB のサイズのログをサポートします。ただし、最適なパフォーマンスを得るためには、個々のログを 25KB 以下にすることをお勧めします。ロギングに Datadog Agent を使用する場合、900kB (900,000 バイト) でログを分割するように設定されています。 *1 つのログイベントに付けられるタグは 100 個以下にしてください。1 日あたり最大 1,000 万個の一意のタグを使えるように、各タグは 256 文字を超えないようにしてください。 *JSON 形式に変換されたログイベントに含まれる属性は 256 個未満である必要があります。これらの各属性のキーは 50 文字未満、ネストは 20 レベル未満にする必要があります。また、ファセットとして登録する場合、それぞれの値は 1024 文字未満にする必要があります。 *ログイベントは、最大 18 時間前までのタイムスタンプを付けて送信できます。
プレビュー版を利用可能: 現在の 18 時間の制限ではなく、過去 7 日間のログを送信できます。プレビューに登録してください。

これらの制限に従わないログイベントは、システムによって変換または切り捨てられたり、指定された時間範囲外の場合はインデックスが作成されなかったりする可能性があります。ただし、Datadog は可能な限り多くのユーザーデータを保持するように努めます。

インデックス化されたログのみに適用される、フィールドの追加の切り捨てがあります。メッセージフィールドの値は 75 KiB に、メッセージ以外のフィールドの値は 25 KiB に切り捨てられます。Datadog は引き続きフルテキストを保存し、ログエクスプローラーの通常のリストクエリでは表示が維持されます。ただし、その切り捨てられたフィールドでログをグループ化する場合や、その特定のフィールドを表示する同様の操作を行う場合など、グループ化されたクエリを実行するときは、切り捨てられたバージョンが表示されます。

TCP log collection is not supported. Datadog provides no delivery or reliability guarantees when using TCP, and log data may be lost without notice. For reliable ingestion, use the HTTP intake endpoint, an official Datadog Agent, or forwarder integration instead. For more information, see Log Collection.
サイトタイプエンドポイントポート説明
USTCPagent-intake.logs.datadoghq.com10514Agent が TLS なしでログを送信するために使用します。
USTCP および TLSagent-intake.logs.datadoghq.com10516Agent が TLS ありでログを送信するために使用します。
USTCP および TLSintake.logs.datadoghq.com443カスタムフォワーダーが、SSL 暗号化された TCP 接続を介して raw、Syslog、または JSON 形式でログを送信するために使用します。
USTCP および TLSfunctions-intake.logs.datadoghq.com443Azure Functions が、SSL 暗号化された TCP 接続を介して raw、Syslog、または JSON 形式でログを送信するために使用します。: このエンドポイントは、他のクラウドプロバイダーでも役立つ場合があります。
USTCP および TLSlambda-intake.logs.datadoghq.com443Lambda 関数が、SSL 暗号化された TCP 接続を介して raw、Syslog、または JSON 形式でログを送信するために使用します。
EUTCP および TLSagent-intake.logs.datadoghq.eu443Agent が、SSL 暗号化された TCP 接続を介して protobuf 形式でログを送信するために使用します。
EUTCP および TLSfunctions-intake.logs.datadoghq.eu443Azure Functions が、SSL 暗号化された TCP 接続を介して raw、Syslog、または JSON 形式でログを送信するために使用します。: このエンドポイントは、他のクラウドプロバイダーでも役立つ場合があります。
EUTCP および TLSlambda-intake.logs.datadoghq.eu443Lambda 関数が、SSL 暗号化された TCP 接続を介して raw、Syslog、または JSON 形式でログを送信するために使用します。

属性とタグ

属性はログファセットを規定します。これらはログエクスプローラーでのフィルタリングや検索に使用されます。予約済み属性および標準属性のリスト、およびログの属性とエイリアシングによる命名規則のサポート方法については、専用の属性とエイリアシングのドキュメントを参照してください。

####スタックトレースの属性 {#attributes-for-stack-traces}

スタックトレースをログに記録する場合、ロガー名、現在のスレッド、エラータイプ、スタックトレース自体など、Datadog アプリケーション内で専用の UI 表示が行われる特定の属性があります。

パースされたスタックトレースの属性

これらの機能を有効にするには、次の属性名を使用します。

属性説明
logger.nameロガーの名前
logger.thread_name現在のスレッドの名前
error.stack実際のスタックトレース
error.messageスタックトレースに含まれるエラーメッセージ
error.kindエラーのタイプまたは「種類」 (例: “Exception”、“OSError”)

: デフォルトでは、インテグレーションパイプラインは、デフォルトのロギングライブラリパラメータをそれらの特定の属性にリマップし、スタックトレースまたはトレースバックをパースして error.messageerror.kind を自動的に抽出しようとします。

詳細については、完全なソースコード属性のドキュメントを参照してください。

##次のステップ {#next-steps}

ログが収集されて取り込まれると、ログエクスプローラーで利用可能になります。ログエクスプローラーでは、ログの検索、強化、アラートの表示ができます。ログデータの分析を開始するにはログエクスプローラーのドキュメントを参照してください。または、以下の追加のログ管理ドキュメントを参照してください。

ログエクスプローラーに表示されるログ

その他の参考資料


*Logging without Limits は Datadog, Inc. の商標です。