Aperçu

Choisissez une option de configuration ci-dessous pour commencer à ingérer vos journaux. Si vous utilisez déjà un démon de transfert de journaux, consultez la documentation dédiée pour Rsyslog, Syslog-ng, NXlog, FluentD ou Logstash.

Consultez la liste des points de collecte de journaux disponibles de Datadog si vous souhaitez envoyer vos journaux directement à Datadog.

Remarque : Lors de l’envoi de journaux au format JSON à Datadog, il existe un ensemble d’attributs réservés qui ont une signification spécifique au sein de Datadog. Consultez la section des Attributs Réservés pour en savoir plus.

Implémentation

1. Installez l’Agent Datadog.
2. Pour activer la collecte de journaux, changez logs_enabled: false en logs_enabled: true dans le fichier de configuration principal de votre Agent (datadog.yaml). Consultez la documentation de collecte de journaux de l’Agent Hôte pour plus d’informations et d’exemples.
3. Une fois la collecte activée, vous pouvez configurer l’Agent Datadog afin de suivre les fichiers de log ou de détecter les logs envoyés via UDP/TCP, de filtrer les logs ou de nettoyer les données sensibles et d’agréger les logs multiligne.

1. Installez l’Agent Datadog.
2. Pour activer la collecte de journaux, changez logs_enabled: false en logs_enabled: true dans le fichier de configuration principal de votre Agent (datadog.yaml). Consultez la documentation de collecte de journaux de l’Agent Hôte pour plus d’informations et d’exemples.
3. Suivez les instructions d’installation correspondant au langage de votre application pour configurer un logger et commencer à générer des logs :

Choisissez un fournisseur de conteneurs ou d’orchestrateurs et suivez les instructions relatives à la collecte de logs :

Remarques :

• L’Agent Datadog peut collecter des journaux directement à partir de stdout/stderr de conteneur sans utiliser de pilote de journalisation. Lorsque la vérification Docker de l’Agent est activée, les métadonnées des conteneurs et des orchestrateurs sont automatiquement ajoutées en tant que balises à vos journaux.

• Il est possible de recueillir les logs pour l’ensemble de vos conteneurs ou uniquement ceux d’un sous-ensemble filtré par image, étiquette ou nom de conteneur.

• Grâce à Autodiscovery, vous pouvez également configurer la collecte de logs directement dans les étiquettes de conteneur.

• Dans les environnements Kubernetes, vous pouvez également tirer parti de l’installation de Daemonset.

Utilisez le Datadog Forwarder, une fonction AWS Lambda qui expédie les journaux de votre environnement vers Datadog. Pour activer la collecte de journaux dans votre environnement sans serveur AWS, consultez la documentation du Datadog Forwarder.

Sélectionnez votre fournisseur de Cloud ci-dessous pour savoir comment recueillir automatiquement vos logs et les transférer à Datadog :

Les intégrations Datadog et la collecte de journaux sont liées. Vous pouvez utiliser le fichier de configuration par défaut d’une intégration pour activer des processeurs, analyses et facettes dédiés dans Datadog. Pour commencer la collecte de journaux avec une intégration :

1. Sélectionnez une intégration depuis la page des intégrations et suivez les instructions de configuration.
2. Suivez les instructions de collecte des journaux de l’intégration. Cette section explique comment décommenter la section des journaux dans le fichier conf.yaml de cette intégration et le configurer pour votre environnement.

Réduire les frais de transfert de données

Utilisez le Monitoring Réseau Cloud de Datadog pour identifier les applications à plus haut débit de votre organisation. Connectez-vous à Datadog via des connexions privées prises en charge et envoyez des données sur un réseau privé pour éviter Internet public et réduire vos frais de transfert de données. Après avoir basculé vers des liens privés, utilisez les outils de Gestion des Coûts Cloud de Datadog pour vérifier l’impact et surveiller la réduction de vos coûts cloud.

Pour plus d’informations, consultez Comment envoyer des logs à Datadog tout en réduisant les frais de transfert de données (en anglais).

Si vous développez une intégration d’Agent personnalisée, vous pouvez soumettre des journaux de manière programmatique depuis votre vérification d’Agent en utilisant la méthode send_log. Cela permet à votre intégration personnalisée d’émettre des journaux aux côtés des métriques, des événements et des vérifications de service.

Pour apprendre comment soumettre des journaux depuis votre vérification d’Agent personnalisée, consultez Collecte des Journaux d’Intégration d’Agent.

Options de configuration supplémentaires

Points de terminaison de journalisation

Datadog fournit des points de terminaison de journalisation pour les connexions SSL chiffrées et non chiffrées. Utilisez le point de terminaison chiffré lorsque cela est possible. L’Agent Datadog utilise le point de terminaison chiffré pour envoyer des journaux à Datadog. Plus d’informations sont disponibles dans la documentation de sécurité de Datadog.

Endpoints pris en charge

Utilisez le menu déroulant situé à droite de la page pour sélectionner votre site Datadog et afficher les endpoints qu’il prend en charge.

Transfert de journaux personnalisé

Tout processus ou bibliothèque de journalisation personnalisée capable de transférer des journaux via HTTP peut être utilisé en conjonction avec Datadog Logs.

Vous pouvez envoyer des journaux à la plateforme Datadog via HTTP. Référez-vous à la documentation de l’API HTTP des journaux Datadog pour commencer.

Notes :

• L’API HTTPS prend en charge des journaux d’une taille allant jusqu’à 1 Mo. Cependant, pour des performances optimales, il est recommandé qu’un journal individuel ne dépasse pas 25 Ko. Si vous utilisez l’Agent Datadog pour la journalisation, il est configuré pour diviser un journal à 900 Ko (900000 octets).
• Un événement de log ne doit pas avoir plus de 100 tags, et chaque tag ne doit pas dépasser 256 caractères pour un maximum de 10 millions de tags uniques par jour.
• Un événement de journal converti au format JSON doit contenir moins de 256 attributs. Chacune des clés de ces attributs doit comporter moins de 50 caractères, être imbriquée en moins de 20 niveaux successifs, et leur valeur respective doit comporter moins de 1024 caractères si promue en facette.
• Les événements de log peuvent être envoyés avec un timestamp jusqu’à 18 h dans le passé.

Les événements de journal qui ne respectent pas ces limites peuvent être transformés ou tronqués par le système ou non indexés s’ils sont en dehors de la plage horaire fournie. Cependant, Datadog essaie de préserver autant de données utilisateur que possible.

Il existe une troncature supplémentaire dans les champs qui s’applique uniquement aux journaux indexés : la valeur est tronquée à 75 Ko pour le champ message et 25 Ko pour les champs non-message. Datadog stocke toujours le texte complet, et il reste visible dans les requêtes de liste régulières dans l’Explorateur de journaux. Cependant, la version tronquée sera affichée lors de l’exécution d’une requête groupée, comme lors du regroupement des journaux par ce champ tronqué ou lors de l’exécution d’opérations similaires qui affichent ce champ spécifique.

Attributs et étiquettes

Les attributs prescrivent les facettes des journaux, qui sont utilisés pour le filtrage et la recherche dans l’Explorateur de journaux. Consultez la documentation dédiée aux attributs et à l’aliasing pour une liste des attributs réservés et standard et pour apprendre à soutenir une convention de nommage avec les attributs de journaux et l’aliasing.

Attributs pour les stack traces

Lorsque vous enregistrez des traces de pile, des attributs spécifiques disposent d’un affichage de l’interface utilisateur dédié au sein de votre application Datadog, comme le nom du logger, le thread actuel, le type d’erreur et la trace de pile.

Pour activer ces fonctionnalités, utilisez les noms d’attribut suivants :

Note : Par défaut, les pipelines d’intégration tentent de remapper les paramètres de la bibliothèque de journalisation par défaut à ces attributs spécifiques et d’analyser les traces de pile ou les retours en arrière pour extraire automatiquement le error.message et le error.kind.

Pour en savoir plus, consultez la documentation relative aux attributs de code source.

Étapes suivantes

Une fois les journaux collectés et ingérés, ils sont disponibles dans Log Explorer. Log Explorer est l’endroit où vous pouvez rechercher, enrichir et visualiser des alertes sur vos journaux. Consultez la documentation de Log Explorer pour commencer à analyser vos données de journal, ou consultez la documentation supplémentaire sur la gestion des journaux ci-dessous.

Lectures supplémentaires

Documentation, liens et articles supplémentaires utiles:

Comment gérer les fichiers de logs avec LogrotateBLOG Configurations avancées de collecte de logsDOCUMENTATION Découvrir comment traiter vos logsDOCUMENTATION En savoir plus sur le parsingDOCUMENTATION Fonctionnalité Live Tail de DatadogDOCUMENTATION Découvrir comment explorer vos logsDOCUMENTATION Logging Without Limits*DOCUMENTATION