Datadog Agent 소스

이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().
이용 가능:

로그 | 메트릭

개요

Observability Pipelines의 Datadog Agent 소스를 사용하여 Datadog Agent에서 로그 또는 메트릭을 수신하세요.

참고:

  • Datadog Distribution of OpenTelemetry(DDOT) Collector를 사용하여 로그 또는 메트릭을 수집하는 경우, OpenTelemetry 소스를 사용하여 해당 데이터를 Observability Pipelines로 전송해야 합니다.
  • Datadog Agent는 source 및 tags가 아닌 ddsource 및 ddtags로 태그가 지정된 로그와 메트릭을 전송합니다. 이러한 이벤트에 대한 프로세서 쿼리나 필터를 정의할 때는 대신 ddsource와 ddtags를 사용하세요.

전제 조건

You already have the Datadog Agent installed to collect and route your logs and/or metrics to Datadog. If you do not have Datadog Agents set up, see the Datadog Agent documentation for more information.

You have the following information available:

설정

시크릿 관리: Datadog Agent 주소에 대한 식별자와 해당하는 경우 TLS 키 암호만 입력하세요. 실제 값은 입력하지 마세요.

파이프라인을 설정할 때 이 소스를 설정하세요. 파이프라인은 UI, API 또는 Terraform을 사용하여 설정할 수 있습니다. 이 섹션의 지침은 UI에서 소스를 설정하기 위한 것입니다.

파이프라인 UI에서 Datadog Agent 소스를 선택한 후 Datadog Agent 주소에 대한 식별자를 입력하세요. 비워두면 기본값이 사용됩니다.

If you enter secret identifiers and then choose to use environment variables, the environment variable is the identifier entered and prepended with DD_OP_. For example, if you entered PASSWORD_1 for a password identifier, the environment variable for that password is DD_OP_PASSWORD_1.

선택 사항 TLS 설정

Toggle the switch to Enable TLS.

  • If you are using Secrets Management, enter the identifier for the key pass. See Secret defaults for the default used if the field is left blank.
  • Enter the following certificate and key files:
    • Server Certificate Path: The path to the certificate file that has been signed by your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) CA Certificate Path: The path to the certificate file that is your Certificate Authority (CA) root file in DER, PEM, or CRT (X.509).
    • (Optional) Private Key Path: The path to the .key private key file that belongs to your Server Certificate Path in DER, PEM, or CRT (PKCS #8) format.
    • Notes:
      • The configuration data directory /var/lib/observability-pipelines-worker/config/ is automatically appended to the file paths. See Advanced Worker Configurations for more information.
      • The file must be readable by the observability-pipelines-worker group and user.

시크릿 기본값

These are the defaults used for secret identifiers and environment variables.

  • Datadog Agent 주소 식별자:
    • Datadog Agent로부터 로그를 수신하기 위해 Observability Pipelines Worker가 수신 대기하는 바인드 주소를 참조합니다.
    • 기본 식별자는 SOURCE_DATADOG_AGENT_ADDRESS입니다.
  • Datadog Agent TLS 암호 식별자(TLS가 활성화된 경우):
    • 기본 식별자는 SOURCE_DATADOG_AGENT_KEY_PASS입니다.
  • Datadog Agent address:
    • The Observability Pipelines Worker listens to this socket address to receive logs from the Datadog Agent.
    • The default environment variable is DD_OP_SOURCE_DATADOG_AGENT_ADDRESS.
  • Datadog Agent TLS passphrase (when enabled):
    • The default environment variable is DD_OP_SOURCE_DATADOG_AGENT_KEY_PASS.

Datadog Agent를 Observability Pipelines Worker에 연결

Agent 구성 파일 또는 Agent Helm 차트 값 파일을 사용하여 Datadog Agent를 Observability Pipelines Worker에 연결합니다.

참고: Agent가 Docker 컨테이너에서 실행 중인 경우 DD_CONTAINER_EXCLUDE_LOGS 환경 변수를 사용하여 Observability Pipelines 로그를 제외해야 합니다. Helm을 사용하는 경우 datadog.containerExcludeLogs를 사용합니다. 이렇게 하면 Worker가 자체 로그를 Datadog으로 직접 전송하기 때문에 발생하는 중복 로그를 방지할 수 있습니다. 자세한 내용은 Docker 로그 수집 또는 Helm용 환경 변수 설정을 참조하세요.

To send Datadog Agent logs to the Observability Pipelines Worker, update your Agent configuration file with the following:

observability_pipelines_worker:
  logs:
    enabled: true
    url: "http://<OPW_HOST>:8282"

<OPW_HOST> is the host IP address or the load balancer URL associated with the Observability Pipelines Worker.

For CloudFormation installs, use the LoadBalancerDNS CloudFormation output for the URL.

For Kubernetes installs, you can use the internal DNS record of the Observability Pipelines Worker service. For example: http://opw-observability-pipelines-worker.default.svc.cluster.local:<PORT>.

Optionally, to ensure host tags are included in your logs, add the following to your Agent configuration file:

logs_config:
  expected_tags_duration: "1000000m"

expected_tags_duration ensures the Agent attaches host-level tags (such as EC2 instance tags) directly to each log event sent to Observability Pipelines. Without this setting, these tags are applied at the Datadog intake level and are not present in the log payload when it passes through Observability Pipelines. Setting the duration to 1000000m (approximately 1.5 years) covers the standard lifecycle of a node. Note that tags may increase the size of your log.

After you restart the Agent, your observability data should be going to the Worker, processed by the pipeline, and delivered to Datadog.

To send Datadog Agent logs to the Observability Pipelines Worker, update your Datadog Helm chart datadog-values.yaml with the following environment variables. See Agent Environment Variables for more information.

datadog:
  env:
    - name: DD_OBSERVABILITY_PIPELINES_WORKER_LOGS_ENABLED
      value: true
    - name: DD_OBSERVABILITY_PIPELINES_WORKER_LOGS_URL
      value: "http://<OPW_HOST>:8282"

<OPW_HOST> is the IP/URL of the host (or load balancer) associated with the Observability Pipelines Worker.

For Kubernetes installs, you can use the internal DNS record of the Observability Pipelines Worker service. For example: http://opw-observability-pipelines-worker.default.svc.cluster.local:<PORT>.

Optionally, to ensure host tags are included in your logs, add the following to your Agent configuration file:

    - name: DD_LOGS_CONFIG_EXPECTED_TAGS_DURATION
      value: "1000000m"

DD_LOGS_CONFIG_EXPECTED_TAGS_DURATION ensures the Agent attaches host-level tags (such as EC2 instance tags) directly to each log event sent to Observability Pipelines. Without this setting, these tags are applied at the Datadog intake level and are not present in the log payload when it passes through Observability Pipelines. Setting the duration to 1000000m (approximately 1.5 years) covers the standard lifecycle of a node. Note that tags may increase the size of your log.

Agent 구성 파일 또는 Agent Helm 차트 값 파일을 사용하여 Datadog Agent를 Observability Pipelines Worker에 연결합니다.

참고: Agent가 Docker 컨테이너에서 실행 중인 경우 DD_CONTAINER_EXCLUDE_METRICS 환경 변수를 사용하여 활용도 및 이벤트 유입/유출 메트릭과 같은 Observability Pipelines 메트릭을 제외해야 합니다. Helm을 사용하는 경우 datadog.containerExcludeMetrics를 사용합니다. 이렇게 하면 Worker가 자체 메트릭을 Datadog으로 직접 전송하기 때문에 발생하는 중복 메트릭을 방지할 수 있습니다. 자세한 내용은 Docker 메트릭 수집 또는 Helm용 환경 변수 설정을 참조하세요.

Datadog Agent 메트릭을 Observability Pipelines Worker로 전송하려면 Agent 구성 파일을 다음 내용으로 업데이트합니다.

observability_pipelines_worker:
  metrics:
    enabled: true
    url: "http://<OPW_HOST>:8383"

<OPW_HOST>는 Observability Pipelines Worker와 연결된 호스트 IP 주소 또는 로드 밸런서 URL입니다.

  • CloudFormation 설치의 경우 LoadBalancerDNS CloudFormation 출력을 URL로 사용합니다.
  • Kubernetes 설치의 경우 Observability Pipelines Worker 서비스의 내부 DNS 레코드를 사용할 수 있습니다. 예: http://opw-observability-pipelines-worker.default.svc.cluster.local:<PORT>.

참고: Worker가 포트 8282에서 로그를 수신 대기 중인 경우, 메트릭에는 8383과 같은 다른 포트를 사용해야 합니다.

Agent를 재시작하면 관측 가능성 데이터가 Worker로 전송되고, 파이프라인에서 처리된 후 Datadog으로 전달됩니다.

Datadog Agent 메트릭을 Observability Pipelines Worker로 전송하려면 Datadog Helm 차트 datadog-values.yaml을 다음 환경 변수로 업데이트합니다. 자세한 내용은 Agent 환경 변수를 참조하세요.

datadog:
  env:
    - name: DD_OBSERVABILITY_PIPELINES_WORKER_METRICS_ENABLED
      value: true
    - name: DD_OBSERVABILITY_PIPELINES_WORKER_METRICS_URL
      value: "http://<OPW_HOST>:8383"

<OPW_HOST>는 Observability Pipelines Worker와 연결된 호스트 IP 주소 또는 로드 밸런서 URL입니다.

Kubernetes 설치의 경우 Observability Pipelines Worker 서비스의 내부 DNS 레코드를 사용할 수 있습니다. 예: http://opw-observability-pipelines-worker.default.svc.cluster.local:<PORT>.

참고: Worker가 포트 8282에서 로그를 수신 대기 중인 경우, 메트릭에는 8383과 같은 다른 포트를 사용해야 합니다.

추가 자료