Información de las sincronizaciones de CloudQuery

Información general

CloudQuery es un marco de trabajo de integración de datos de alto rendimiento de código abierto, creado para desarrolladores y compatible con una amplia gama de complementos.

CloudQuery extrae, transforma y carga configuración desde las APIs de la nube a una variedad de destinos compatibles, como bases de datos, lagos de datos o plataformas de streaming para su posterior análisis.

Configuración

Instalación

Para ingerir trazas (traces), métricas y logs de OpenTelemetry desde CloudQuery, instala las versiones >=6.48.0 o >=7.48.0 del Datadog Agent . Alternativamente, puedes utilizar OpenTelemetry Collector y Datadog Exporter como se describe a continuación.

Configuración

CloudQuery admite trazas, métricas y logs de OpenTelemetry de forma predefinida. Existen diversas maneras de configurar OpenTelemetry con Datadog:

• Uso de un OpenTelemetry Collector
• Ingesta directa de OTEL por el Datadog Agent a través de un archivo de configuración
• Ingesta directa de OTEL por el Datadog Agent a través de las variables de entorno

Para obtener más información, consulta OpenTelemetry en Datadog.

OpenTelemetry Collector

Para configurar un OpenTelemetry Collector con Datadog:

1. Crea un archivo de configuración. Por ejemplo, crea un archivo otel_collector_config.yaml con el siguiente contenido:

receivers:
  otlp:
    protocols:
      http:
        endpoint: "0.0.0.0:4318"

processors:
  batch/datadog:
    send_batch_max_size: 1000
    send_batch_size: 100
    timeout: 10s

exporters:
  datadog:
    api:
      site: ${env:DATADOG_SITE}
      key: ${env:DATADOG_API_KEY}

service:
  pipelines:
    metrics:
      receivers: [otlp]
      processors: [batch/datadog]
      exporters: [datadog]
    traces:
      receivers: [otlp]
      processors: [batch/datadog]
      exporters: [datadog]
    logs:
      receivers: [otlp]
      processors: [batch/datadog]
      exporters: [datadog]

2. Ejecuta el recopilador con el siguiente comando (sustituye DATADOG_SITE y DATADOG_API_KEY por tus propios valores):

docker run \
    -p 4318:4318 \
    -e DATADOG_SITE=$DATADOG_SITE \
    -e DATADOG_API_KEY=$DATADOG_API_KEY \
    --hostname $(hostname) \
    -v $(pwd)/otel_collector_config.yaml:/etc/otelcol-contrib/config.yaml \
    otel/opentelemetry-collector-contrib:0.104.0

3. Una vez que tengas listo el recopilador, especifica el endpoint en la especificación de la fuente:

kind: source
spec:
  name: "aws"
  path: "cloudquery/aws"
  # Replace with the AWS source plugin version
  version: "<VERSION_SOURCE_AWS>"
  tables: ["aws_s3_buckets"]
  destinations: ["postgresql"]
  otel_endpoint: "0.0.0.0:4318"
  otel_endpoint_insecure: true
  spec:

Para conocer otras formas de ejecutar el recopilador, consulta Despliegues de OpenTelemetry.

Ingesta de OTEL del Datadog Agent a través de un archivo de configuración

1. Busca tu archivo de configuración datadog.yaml del Agent y añade la siguiente configuración:

otlp_config:
  receiver:
    protocols:
      http:
        endpoint: 0.0.0.0:4318
  logs:
    enabled: true
logs_enabled: true

2. Reinicia el Datadog Agent para que el cambio surta efecto.

3. Una vez que tengas listo el Agent, especifica el endpoint en la especificación fuente:

kind: source
spec:
  name: "aws"
  path: "cloudquery/aws"
  # Replace with the AWS source plugin version
  version: "<VERSION_SOURCE_AWS>"
  tables: ["aws_s3_buckets"]
  destinations: ["postgresql"]
  otel_endpoint: "0.0.0.0:4318"
  otel_endpoint_insecure: true
  spec:

Ingesta de OTEL del Datadog Agent a través de variables de entorno

1. Pasa la variable de entorno DD_OTLP_CONFIG_RECEIVER_PROTOCOLS_HTTP_ENDPOINT al Datadog Agent con un valor de 0.0.0.0:4318. Si utilizas Docker compose, consulta el ejemplo siguiente:

version: "3.0"
services:
  agent:
    image: gcr.io/datadoghq/agent:7
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - /proc/:/host/proc/:ro
      - /sys/fs/cgroup/:/host/sys/fs/cgroup:ro
    environment:
      DD_API_KEY: redacted
      DD_SITE: "datadoghq.eu"
      DD_OTLP_CONFIG_RECEIVER_PROTOCOLS_HTTP_ENDPOINT: "0.0.0.0:4318"
      DD_LOGS_ENABLED: "true"
      DD_OTLP_CONFIG_LOGS_ENABLED: "true"
    ports:
      - "4318:4318"

2. Reinicia el Datadog Agent para que el cambio surta efecto.

3. Una vez que tengas listo el Agent, especifica el endpoint en la especificación fuente:

kind: source
spec:
  name: "aws"
  path: "cloudquery/aws"
  # Replace with the AWS source plugin version
  version: "<VERSION_SOURCE_AWS>"
  tables: ["aws_s3_buckets"]
  destinations: ["postgresql"]
  otel_endpoint: "0.0.0.0:4318"
  otel_endpoint_insecure: true
  spec:

Para conocer más formas de configurar el Datadog Agent, consulta Ingesta de OpenTelemetry Protocol Ingestion por el Datadog Agent.

Validación

Ejecuta cloudquery sync spec.yml. Una vez iniciada la ingesta, deberías empezar a ver las trazas en el Explorador de trazas APM de Datadog. También puedes validar las métricas y los logs en el Resumen de métricas y el Explorador de logs.

Datos recopilados

Métricas

CloudQuery no incluye ninguna métrica.

Checks de servicio

CloudQuery no incluye ningún check de servicio.

Eventos

CloudQuery no incluye ningún evento.

Desinstalación

Si utilizas el recopilador de OpenTelemetry, puedes detenerlo ejecutando docker stop <container_id>. Si utilizas el Datadog Agent, elimina la configuración o las variables de entorno que hayas añadido y reinicia el Agent. Por último, elimina el dashboard de tu cuenta Datadog.

Soporte

Para obtener asistencia, ponte en contacto con CloudQuery.