Configurer des pipelines

Ce produit n'est pas pris en charge par le site Datadog que vous avez sélectionné. ().

Aperçu

Les pipelines et les processeurs décrits dans cette documentation sont spécifiques aux environnements de journalisation sur site. Pour agréger, traiter et acheminer les journaux basés sur le cloud, voir Pipelines de gestion des journaux.

Dans les pipelines d’observabilité, un pipeline est un chemin séquentiel avec trois types de composants :

  • Source : Reçoit des données de votre source de données (par exemple, le Datadog Agent).
  • Processeurs : Enrichissent et transforment vos données.
  • Destinations : Où vos données traitées sont envoyées.
Pipeline avec une source connectée à deux groupes de processeurs et deux destinations

Vous pouvez créer un pipeline par l’une des méthodes suivantes :

Voir Exporter une configuration de pipeline vers JSON ou Terraform si vous souhaitez déployer de manière programmatique un pipeline créé dans l’interface utilisateur.

Configurer un pipeline dans l’interface utilisateur

Configurer les composants du pipeline

    1. Naviguez vers Observability Pipelines.
    2. Sélectionnez un modèle en fonction de votre cas d’utilisation.
    3. Sélectionnez et configurez votre source.
    4. Ajoutez des Processeurs pour transformer, masquer et enrichir vos données de journal. Remarque : Pour un canevas de pipeline, il y a une limite de 25 groupes de processeurs et un total de 150 processeurs.
      • Si vous souhaitez copier un processeur, cliquez sur l’icône de copie pour ce processeur, puis utilisez command-v pour le coller.
    5. Sélectionnez et configurez des Destinations pour vos journaux traités.

    Ajoutez ou supprimez des composants

    Ajoutez un autre groupe de processeurs
    La page des Pipelines montrant deux groupes de processeurs envoyant des journaux vers la même destination.

    If you want to add another group of processors for a destination:

    1. Click the plus sign (+) at the bottom of the existing processor group.
    2. Click the name of the processor group to update it.
    3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
    4. Click Add to add processors to the group.
    5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
      1. Click the three dots on the processor group.
      2. Select Copy all processors.
      3. Select the desired processor group, and then paste the processors into it.
    6. You can toggle the switch to enable and disable the processor group and also each individual processor.

    Notes:

    • There is a limit of 25 processor groups for a pipeline canvas.
    Ajoutez un autre ensemble de processeurs et de destinations
    La page des Pipelines montrant deux groupes de processeurs envoyant des journaux vers deux destinations différentes.

    If you want to add another set of processors and destinations, click the plus sign (+) to the left of the processor group to add another set of processors and destinations to the source.

    To delete a processor group, you need to delete all destinations linked to that processor group. When the last destination is deleted, the processor group is removed with it.

    Ajoutez une autre destination à un groupe de processeurs
    La page des Pipelines montrant un groupe de processeurs envoyant des journaux vers deux destinations différentes.

    If you want to add an additional destination to a processor group, click the plus sign (+) to the right of the processor group.

    To delete a destination, click on the pencil icon to the top right of the destination, and select Delete node.

    • If you delete a destination from a processor group that has multiple destinations, only the deleted destination is removed.
    • If you delete a destination from a processor group that only has one destination, both the destination and the processor group are removed.

    Notes:

    • A pipeline must have at least one destination. If a processor group only has one destination, that destination cannot be deleted.
    • You can add a total of three destinations for a pipeline.
    • A specific destination can only be added once. For example, you cannot add multiple Splunk HEC destinations.
    La gouvernance des balises métriques est en aperçu. Remplissez le formulaire pour demander l'accès.
    1. Naviguez vers Observability Pipelines.
    2. Sélectionnez le modèle Gouvernance des balises métriques.
    3. Configurez la source Datadog Agent.
    4. Ajoutez des processeurs pour filtrer et transformer vos métriques. Remarque : Pour un canevas de pipeline, il y a une limite de 25 groupes de processeurs et un total de 150 processeurs.
      • Si vous souhaitez copier un processeur, cliquez sur l’icône de copie pour ce processeur, puis collez-le (Cmd+V sur Mac, Ctrl+V sur Windows/Linux).
    5. Configurez la destination Datadog Metrics.

    Ajoutez un autre groupe de processeurs

    La page des Pipelines montrant deux groupes de processeurs envoyant des journaux vers la même destination.

    If you want to add another group of processors for a destination:

    1. Click the plus sign (+) at the bottom of the existing processor group.
    2. Click the name of the processor group to update it.
    3. Optionally, enter a group filter. Only data that match the filter query are sent through the processors in the group. See Search Syntax for more information.
    4. Click Add to add processors to the group.
    5. If you want to copy all processors in a group and paste them into the same processor group or a different group:
      1. Click the three dots on the processor group.
      2. Select Copy all processors.
      3. Select the desired processor group, and then paste the processors into it.
    6. You can toggle the switch to enable and disable the processor group and also each individual processor.

    Notes:

    • There is a limit of 25 processor groups for a pipeline canvas.

    Installez le Worker et déployez le pipeline

    Après avoir configuré votre source, vos processeurs et vos destinations, cliquez sur Suivant : Installer. Consultez Installer le Worker pour des instructions sur l’installation du Worker pour votre plateforme. Consultez Configurations avancées du Worker pour les options de démarrage.

    Si vous souhaitez apporter des modifications à votre pipeline après l’avoir déployé, consultez Mettre à jour les pipelines existants.

    Activez les moniteurs prêts à l’emploi pour votre pipeline

    1. Accédez à la page Pipelines et trouvez votre pipeline.
    2. Cliquez sur Enable monitors dans la colonne Monitors pour votre pipeline.
    3. Cliquez sur Start pour configurer un moniteur pour l’un des cas d’utilisation suggérés.
      • Le moniteur de métriques est configuré en fonction du cas d’utilisation sélectionné. Vous pouvez mettre à jour la configuration pour la personnaliser davantage. Consultez la documentation du moniteur de métriques pour plus d’informations.

    Configurez un pipeline avec l’API

    1. Utilisez l’API des Pipelines d’Observabilité pour créer un pipeline. Consultez la référence de l’API pour des exemples de charges utiles de requête.

    2. Après avoir créé le pipeline, installez le Worker pour envoyer des données à travers le pipeline.

      • Consultez Variables d’environnement pour la liste des variables d’environnement dont vous avez besoin pour les différentes sources, processeurs et destinations lors de l’installation du Worker.

    Utilisez le point de terminaison mettre à jour un pipeline pour apporter des modifications à un pipeline existant.

    Consultez Configurations avancées du Worker pour les options de démarrage.

    Configurez un pipeline avec Terraform

    Terraform 3.84.0 remplace les processeurs autonomes par des groupes de processeurs et constitue un changement majeur. Si vous souhaitez mettre à niveau vers Terraform 3.84.0, consultez la description du PR pour des instructions sur la façon de migrer vos ressources existantes.

    1. Vous pouvez utiliser le module datadog_observability_pipeline pour créer un pipeline avec Terraform.

    2. Après avoir créé le pipeline, installez le Worker pour envoyer des données à travers le pipeline.

      • Consultez Variables d’environnement pour la liste des variables d’environnement nécessaires pour les différentes sources, processeurs et destinations lors de l’installation du Worker.

    Utilisez le module datadog_observability_pipeline pour apporter des modifications à un pipeline existant.

    Consultez Configurations avancées du Worker pour les options de démarrage.

    Clonez un pipeline

    Pour cloner un pipeline dans l’interface utilisateur :

    1. Accédez à Observability Pipelines.
    2. Sélectionnez le pipeline que vous souhaitez cloner.
    3. Cliquez sur l’icône en haut à droite de la page, puis sélectionnez Cloner.

    Supprimez un pipeline

    Pour supprimer un pipeline dans l’interface utilisateur :

    1. Accédez à Observability Pipelines.
    2. Sélectionnez le pipeline que vous souhaitez supprimer.
    3. Cliquez sur l’icône en haut à droite de la page, puis sélectionnez Supprimer.

    Remarque : Vous ne pouvez pas supprimer un pipeline actif. Vous devez arrêter tous les Workers pour un pipeline avant de pouvoir le supprimer.

    Exigences et limites du pipeline

    • Un pipeline doit avoir au moins une destination. Si un groupe de processeurs n’a qu’une seule destination, cette destination ne peut pas être supprimée.
    • Pour les pipelines de journalisation :
      • Vous pouvez ajouter un total de trois destinations pour un pipeline de journalisation.

    Lectures complémentaires

    Documentation, liens et articles supplémentaires utiles:

    Mettre à jour un pipeline existantDOCUMENTATION more more Configurations avancées du Worker pour les pipelines d’observabilité :DOCUMENTATION more more Exécuter plusieurs pipelines sur un hôteDOCUMENTATION more more Dépannage des pipelines d'observabilitéDOCUMENTATION more more