OpenTelemetry Collector Datadog エクスポーター

コンフィグレーションファイルを --config パラメータで指定し、コレクターを実行します。

otelcontribcol_linux_amd64 --config collector.yaml

OpenTelemetry Collector を Docker イメージとして実行し、同じホストからトレースを受信するには

1. otel/opentelemetry-collector-contrib などの公開された Docker イメージを選択します。

2. OpenTelemetry のトレースを OpenTelemetry Collector に送信するために、コンテナ上でどのポートをオープンするかを決定します。デフォルトでは、トレースはポート 4317 の gRPC で送信されます。gRPC を使用しない場合は、ポート 4138 を使用します。

3. コンテナを実行し、事前に定義した collector.yaml ファイルを使用して、必要なポートを公開します。例えば、ポート 4317 を使用する場合を考えてみましょう。

   $ docker run \
       -p 4317:4317 \
       --hostname $(hostname) \
       -v $(pwd)/otel_collector_config.yaml:/etc/otelcol-contrib/config.yaml \
       otel/opentelemetry-collector-contrib
   

OpenTelemetry Collector を Docker イメージとして実行し、その他のコンテナからトレースを受信するには

1. Docker ネットワークを作成します。

   docker network create <NETWORK_NAME>
   

2. OpenTelemetry Collector とアプリケーションコンテナを同じネットワークの一部として実行します。

   # Run the OpenTelemetry Collector
   docker run -d --name opentelemetry-collector \
       --network <NETWORK_NAME> \
       --hostname $(hostname) \
       -v $(pwd)/otel_collector_config.yaml:/etc/otelcol-contrib/config.yaml \
       otel/opentelemetry-collector-contrib
   

   アプリケーションコンテナの実行中は、環境変数 OTEL_EXPORTER_OTLP_ENDPOINT が OpenTelemetry Collector 向けの適切なホスト名を使用して構成されていることをご確認ください。以下の例では opentelemetry-collector を使用しています。

   # Run the application container
   docker run -d --name app \
       --network <NETWORK_NAME> \
       --hostname $(hostname) \
       -e OTEL_EXPORTER_OTLP_ENDPOINT=http://opentelemetry-collector:4317 \
       company/app:latest
   

Kubernetes 環境で OTel 収集を構成するには、DaemonSet を使用することが最も一般的で推奨される方法です。Kubernetes インフラクチャーに OpenTelemetry コレクターと Datadog エクスポーターをデプロイするには

1. アプリケーションの構成例も含め、こちらの [Datadog Exporter を DaemonSet として使用した OpenTelemetry Collector の全構成例][11]を使用してください。

   特に、DaemonSet の重要なポートがアプリケーションに公開され、アクセスできることを保証する、いくつかの例からの重要な構成オプションに注意してください。

   # ...
           ports:
           - containerPort: 4318 # default port for OpenTelemetry HTTP receiver.
             hostPort: 4318
           - containerPort: 4317 # default port for OpenTelemetry gRPC receiver.
             hostPort: 4317
           - containerPort: 8888  # Default endpoint for querying Collector observability metrics.
   # ...
   

   もし、アプリケーションに標準の HTTP ポートと gRPC ポートの両方が必要ない場合は、削除しても問題ありません。

2. Datadog コンテナのタグ付けに使用される貴重な Kubernetes 属性を収集し、例に示すように Pod IP をリソース属性として報告します。

   # ...
           env:
           - name: POD_IP
             valueFrom:
               fieldRef:
                 fieldPath: status.podIP
           # The k8s.pod.ip is used to associate pods for k8sattributes
           - name: OTEL_RESOURCE_ATTRIBUTES
             value: "k8s.pod.ip=$(POD_IP)"
   # ...
   

   これにより、構成マップで使用される Kubernetes Attributes Processor が、トレースにアタッチするために必要なメタデータを抽出することができるようになるのです。このメタデータにアクセスできるようにするために、追加で設定する必要のあるロールが存在します。この例は完成しており、すぐに使用でき、正しいロールが設定されています。

3. アプリケーションコンテナを用意します。アプリケーションコンテナを構成するには、正しい OTLP エンドポイントホスト名が使用されていることを確認します。OpenTelemetry コレクターは DaemonSet として実行されるので、現在のホストをターゲットにする必要があります。アプリケーションコンテナの OTEL_EXPORTER_OTLP_ENDPOINT 環境変数を、サンプルチャートのように正しく設定します。

   # ...
           env:
           - name: HOST_IP
             valueFrom:
               fieldRef:
                 fieldPath: status.hostIP
             # The application SDK must use this environment variable in order to successfully
             # connect to the DaemonSet's collector.
           - name: OTEL_EXPORTER_OTLP_ENDPOINT
             value: "http://$(HOST_IP):4318"
   # ...
   

Kubernetes Gateway のデプロイで OpenTelemetry コレクターと Datadog エクスポーターをデプロイするには

1. アプリケーションの構成例も含め、こちらの Datadog Exporter を DaemonSet として使用した OpenTelemetry Collector の全構成例を使用してください。

   特に、DaemonSet の重要なポートがアプリケーションに公開され、アクセスできることを保証する、いくつかの例からの重要な構成オプションに注意してください。

   # ...
           ports:
           - containerPort: 4318 # default port for OpenTelemetry HTTP receiver.
             hostPort: 4318
           - containerPort: 4317 # default port for OpenTelemetry gRPC receiver.
             hostPort: 4317
           - containerPort: 8888  # Default endpoint for querying Collector observability metrics.
   # ...
   

   もし、アプリケーションに標準の HTTP ポートと gRPC ポートの両方が必要ない場合は、削除しても問題ありません。

2. Datadog コンテナのタグ付けに使用される貴重な Kubernetes 属性を収集し、例に示すように Pod IP をリソース属性として報告します。

   # ...
           env:
           - name: POD_IP
             valueFrom:
               fieldRef:
                 fieldPath: status.podIP
           # The k8s.pod.ip is used to associate pods for k8sattributes
           - name: OTEL_RESOURCE_ATTRIBUTES
             value: "k8s.pod.ip=$(POD_IP)"
   # ...
   

   これにより、構成マップで使用される Kubernetes Attributes Processor が、トレースにアタッチするために必要なメタデータを抽出することができるようになるのです。このメタデータにアクセスできるようにするために、追加で設定する必要のあるロールが存在します。この例は完成しており、すぐに使用でき、正しいロールが設定されています。

3. アプリケーションコンテナを用意します。アプリケーションコンテナを構成するには、正しい OTLP エンドポイントホスト名が使用されていることを確認します。OpenTelemetry コレクターは DaemonSet として実行されるので、現在のホストをターゲットにする必要があります。アプリケーションコンテナの OTEL_EXPORTER_OTLP_ENDPOINT 環境変数を、サンプルチャートのように正しく設定します。

   # ...
           env:
           - name: HOST_IP
             valueFrom:
               fieldRef:
                 fieldPath: status.hostIP
             # The application SDK must use this environment variable in order to successfully
             # connect to the DaemonSet's collector.
           - name: OTEL_EXPORTER_OTLP_ENDPOINT
             value: "http://$(HOST_IP):4318"
   # ...
   

4. DaemonSet に現在設置されている Datadog Exporter の代わりに OTLP エクスポーターを含めるように変更します。

   # ...
   exporters:
     otlp:
       endpoint: "<GATEWAY_HOSTNAME>:4317"
   # ...
   

5. サービスパイプラインが、サンプルにある Datadog のものでなく、このエクスポーターを使用することを確認してください。

   # ...
       service:
         pipelines:
           metrics:
             receivers: [hostmetrics, otlp]
             processors: [resourcedetection, k8sattributes, batch]
             exporters: [otlp]
           traces:
             receivers: [otlp]
             processors: [resourcedetection, k8sattributes, batch]
             exporters: [otlp]
   # ...
   

   これにより、各 Agent は OTLP プロトコルを介して Collector Gateway にデータを転送することが保証されます。

6. GATEWAY_HOSTNAME を OpenTelemetry Collector Gateway のアドレスに置き換えます。

7. Kubernetes のメタデータがトレースに適用され続けるようにするには、k8sattributes プロセッサー に Pod IP を Gateway Collector に転送して、メタデータを取得できるようにします。

   # ...
   k8sattributes:
     passthrough: true
   # ...
   

   passthrough オプションの詳細については、そのドキュメントを参照してください。

8. Gateway Collector の構成が、Agent で OTLP エクスポーターに置き換わったのと同じ Datadog Exporter 設定を使用していることを確認します。例えば、以下のようになります (ここで <DD_SITE> はあなたのサイト、 です)。

   # ...
   exporters:
     datadog:
       api:
         site: <DD_SITE>
         key: ${env:DD_API_KEY}
   # ...
   

OpenTelemetry Operator を使用するには

1. OpenTelemetry Operator のデプロイメントに関する公式ドキュメントに従ってください。そこに記載されているように、Operator に加えて、証明書マネージャをデプロイします。

2. OpenTelemetry Collector の標準 Kubernetes 構成の 1 つを使用して Operator を構成します。

   • Daemonset デプロイメント - ホストメトリクスを確実に受信したい場合は、DaemonSet デプロイメントを使用します。
   • ゲートウェイのデプロイメント

   例:

   apiVersion: opentelemetry.io/v1alpha1
   kind: OpenTelemetryCollector
   metadata:
     name: opentelemetry-example
   spec:
     mode: daemonset
     hostNetwork: true
     image: otel/opentelemetry-collector-contrib
     env:
       - name: DD_API_KEY
         valueFrom:
           secretKeyRef:
             key:  datadog_api_key
             name: opentelemetry-example-otelcol-dd-secret
     config:
       receivers:
         otlp:
           protocols:
             grpc:
             http:
       hostmetrics:
         collection_interval: 10s
         scrapers:
           paging:
             metrics:
               system.paging.utilization:
                 enabled: true
           cpu:
             metrics:
               system.cpu.utilization:
                 enabled: true
           disk:
           filesystem:
             metrics:
               system.filesystem.utilization:
                 enabled: true
           load:
           memory:
           network:
       processors:
         k8sattributes:
         batch:
           send_batch_max_size: 100
           send_batch_size: 10
           timeout: 10s
       exporters:
         datadog:
           api:
             key: ${env:DD_API_KEY}
       service:
         pipelines:
           metrics:
             receivers: [hostmetrics, otlp]
             processors: [k8sattributes, batch]
             exporters: [datadog]
           traces:
             receivers: [otlp]
             processors: [k8sattributes, batch]
             exporters: [datadog]
   

Datadog Agent と並行して OpenTelemetry Collector を使用するには

1. 先に設定した OpenTelemetry Collector DaemonSet と並行して Datadog Agent が各ホストで実行されるように、追加の DaemonSet を設定します。詳細は、Kubernetes での Datadog Agent のデプロイに関するドキュメントをお読みください。

2. Datadog Agent での OTLP 取り込みを有効にします。

3. Datadog Agent が OTLP トレースとメトリクスを受信できるようになったので、以下の構成を構成マップに追加することで、OpenTelemetry Collector DaemonSet を変更して Datadog Exporter ではなく、OTLP エクスポーターを使用するように変更します。

   # ...
   exporters:
     otlp:
       endpoint: "${HOST_IP}:4317"
       tls:
         insecure: true
   # ...
   

4. DaemonSet で環境変数 HOST_IP が提供されていることを確認します。

   # ...
           env:
           - name: HOST_IP
             valueFrom:
               fieldRef:
                 fieldPath: status.hostIP
   # ...
   

5. サービスパイプラインが OTLP を使用していることを確認します。

   # ...
       service:
         pipelines:
           metrics:
             receivers: [otlp]
             processors: [resourcedetection, k8sattributes, batch]
             exporters: [otlp]
           traces:
             receivers: [otlp]
             processors: [resourcedetection, k8sattributes, batch]
             exporters: [otlp]
   # ...
   

   この場合、Datadog Agent によってこれらのメトリクスが発行されるため、hostmetrics レシーバーを使用しないでください。