Observability Pipelines

Este producto no es compatible con el sitio Datadog seleccionado. ().

Descripción general

Un gráfico que muestra datos siendo agregados desde una variedad de fuentes, procesados y enriquecidos por el Observability Pipelines Worker en su propio entorno, y luego siendo dirigidos a los destinos de seguridad, análisis y almacenamiento de su elección

Datadog Observability Pipelines le permite recopilar y procesar registros y métricas dentro de su propia infraestructura, y luego enrutar los datos a diferentes destinos. Le brinda control sobre sus datos de observabilidad antes de que salgan de su entorno.

Con plantillas listas para usar, puede crear canalizaciones que redacten datos confidenciales, enriquezcan datos, filtren eventos ruidosos y dirijan datos a destinos como Datadog, herramientas SIEM o almacenamiento en la nube.

Componentes clave

Observability Pipelines Worker

El Observability Pipelines Worker se ejecuta dentro de su infraestructura para agregar, procesar y dirigir datos.

Datadog recomienda que actualice Observability Pipelines Worker (OPW) con cada versión menor y de parche, o, como mínimo, mensualmente.

Actualizar a una versión principal de OPW y mantenerla actualizada es la única forma admitida de obtener la funcionalidad, las correcciones y las actualizaciones de seguridad más recientes de OPW. Consulte Actualizar el Worker para actualizar a la versión más reciente del Worker.

Interfaz de usuario de Observability Pipelines

La interfaz de usuario de Observability Pipelines proporciona un plano de control centralizado donde puede:

  • Cree y edite pipelines con plantillas guiadas.
  • Implemente y administre Workers.
  • Habilite seguimientos para realizar un seguimiento del estado de la canalización.

Comience

  1. Navegue a Observability Pipelines.
  2. Seleccione una plantilla según su caso de uso.
  3. Configure su canalización:
    1. Elija una fuente de registros.
    2. Configure procesadores.
    3. Agregue uno o más destinos.
  4. Instale el Worker en su entorno
  5. Habilite seguimientos para obtener observabilidad en tiempo real sobre el estado de su canalización.

Consulte Configurar Pipelines para obtener instrucciones detalladas.

Casos de uso comunes y plantillas

Observability Pipelines incluye plantillas predefinidas para flujos de trabajo comunes de enrutamiento y transformación de datos. Puede personalizarlas completamente o combinarlas para satisfacer sus necesidades.

La interfaz de usuario de Observability Pipelines mostrando las ocho plantillas

Plantillas

PlantillaDescripción
Archivar registrosAlmacene registros sin procesar en Amazon S3, Google Cloud Storage o Azure Storage para su retención y rehidratación a largo plazo.
Envío dual de registrosEnvíe el mismo flujo de registros a múltiples destinos (por ejemplo, Datadog y un SIEM).
Generar métricas basadas en registrosConvierta registros de alto volumen en métricas de conteo o distribución para reducir las necesidades de almacenamiento.
Enriquecimiento de registrosAgregue metadatos de tablas de referencia o asignaciones estáticas para realizar consultas más efectivas.
Control de volumen de registrosReduzca el volumen de log indexado filtrando los registros de bajo valor antes de que se almacenen.
Redacción de datos confidencialesDetecte y elimine información de identificación personal (PII) y secretos mediante reglas integradas o personalizadas.
Dividir registrosDirija los registros por tipo (por ejemplo, seguridad frente a aplicación) a diferentes herramientas.
PlantillaDescripción
Gobernanza de etiquetas de métricasAdministre la calidad y el volumen de sus métricas conservando solo las que necesita, estandarizando el etiquetado de métricas y eliminando etiquetas no deseadas para evitar una alta cardinalidad.

Consulte Explorar plantillas para obtener más información.

Lecturas adicionales

Documentación, enlaces y artículos útiles adicionales:

Configure PipelinesDOCUMENTACIÓN more more Explore casos de uso y plantillasDOCUMENTACIÓN more more Instale el Observability Pipelines WorkerDOCUMENTACIÓN more more Envío dual con Observability PipelinesDOCUMENTACIÓN more more Estrategias para reducir el volumen de registrosDOCUMENTACIÓN more more Primeros pasos con Observability PipelinesCENTRO DE APRENDIZAJE more more Agregue contexto de actualización dinámica a los registros con tablas de referencia y Observability PipelinesBLOG more more Envíe datos de OTel desde aplicaciones de IA a ClickHouse y Datadog usando Observability PipelinesBLOG more more Redacte datos confidenciales de sus registros de forma local usando Observability PipelinesBLOG more more Envío dual de registros con Datadog Observability PipelinesBLOG more more Controle sus volúmenes de registros con Datadog Observability PipelinesBLOG more more Archive sus registros con Observability Pipelines para una migración sencilla y asequible a DatadogBLOG more more Agregue, procese y enrute registros fácilmente con Datadog Observability PipelinesBLOG more more Transmita registros en formato OCSF a sus proveedores de seguridad o lagos de datos preferidos con Observability PipelinesBLOG more more Simplifique su migración de SIEM a Microsoft Sentinel con Datadog Observability PipelinesBLOG more more Cómo las organizaciones estatales, locales y educativas pueden gestionar registros de manera flexible y eficiente usando Datadog Observability PipelinesBLOG more more Cómo optimizar datos de registro de alto volumen sin comprometer la visibilidadBLOG more more Busque en sus registros históricos de manera más eficiente con Datadog Archive SearchBLOG more more Almacene y busque registros a escala de petabytes en su propia infraestructura con Datadog BYOC LogsBLOG more more Controle los costos de registros en cualquier SIEM o lago de datos utilizando Packs con Observability PipelinesBLOG more more Utilice OpenTelemetry con Observability Pipelines para la recopilación de registros y el control de costos neutrales respecto al proveedorBLOG more more Simplifique la recopilación y agregación de registros para MSSP con Datadog Observability PipelinesBLOG more more Administre el volumen de métricas y las etiquetas en su entorno con Observability PipelinesBLOG more more