Collecte de logs avec Docker

Afin de lancer un conteneur Docker qui intègre l’Agent Datadog pour surveiller votre host, utilisez la commande suivante :

docker run -d --name datadog-agent \
           -e DD_API_KEY=<VOTRE_CLÉ_API> \
           -e DD_LOGS_ENABLED=true \
           -e DD_LOGS_CONFIG_CONTAINER_COLLECT_ALL=true \
           -e DD_AC_EXCLUDE="name:datadog-agent" \
           -v /var/run/docker.sock:/var/run/docker.sock:ro \
           -v /proc/:/host/proc/:ro \
           -v /opt/datadog-agent/run:/opt/datadog-agent/run:rw \
           -v /sys/fs/cgroup/:/host/sys/fs/cgroup:ro \
           datadog/agent:latest

Nous vous conseillons de choisir la dernière version de l’Agent Datadog. La liste complète des images de l’Agent v6 est disponible sur Docker Hub.

Voici les commandes associées à la collecte de logs :

Installez la dernière version de l’Agent 6 sur votre host. L’Agent peut recueillir des logs à partir des fichiers sur le host ou du conteneur stdout/stderr.

La collecte de logs est désactivée par défaut dans l’Agent Datadog. Pour l’activer, ajoutez les lignes suivantes à votre fichier de configuration datadog.yaml :

logs_enabled: true
listeners:
  - name: docker
config_providers:
  - name: docker
    polling: true
logs_config:
  container_collect_all: true

Redémarrez l’Agent pour afficher tous les logs de votre conteneur dans Datadog.

Ajoutez l’étiquette LABEL suivante à votre Dockerfile :

LABEL "com.datadoghq.ad.logs"='[<CONFIG_LOGS>]'

Ajoutez l’étiquette suivante à votre fichier docker-compose.yaml :

labels:
  com.datadoghq.ad.logs: '[<CONFIG_LOGS>]'

Ajoutez l’étiquette suivante en tant que commande Exécuter :

-l com.datadoghq.ad.logs='[<CONFIG_LOGS>]'

Le Dockerfile suivant permet l’intégration de log NGINX dans le conteneur correspondant (la valeur service peut être modifiée) :

LABEL "com.datadoghq.ad.logs"='[{"source": "nginx", "service": "webapp"}]'

Pour activer les intégrations NGINX de métrique et de log :

LABEL "com.datadoghq.ad.check_names"='["nginx"]'
LABEL "com.datadoghq.ad.init_configs"='[{}]'
LABEL "com.datadoghq.ad.instances"='[{"nginx_status_url": "http://%%host%%:%%port%%/nginx_status"}]'
LABEL "com.datadoghq.ad.logs"='[{"source": "nginx", "service": "webapp"}]'

Pour les logs multiligne tels que les traces de pile, l’Agent dispose de règles de traitement multiligne pour agréger les lignes dans un seul log.

Exemple de log (traces de pile Java) :

2018-01-03T09:24:24.983Z UTC Exception in thread "main" java.lang.NullPointerException
        at com.example.myproject.Book.getTitle(Book.java:16)
        at com.example.myproject.Author.getBookTitles(Author.java:25)
        at com.example.myproject.Bootstrap.main(Bootstrap.java:14)

Appliquez l’étiquette com.datadoghq.ad.logs à vos conteneurs comme indiqué ci-dessous pour que le log précédent soit correctement recueilli :

  labels:
    com.datadoghq.ad.logs: '[{"source": "java", "service": "myapp", "log_processing_rules": [{"type": "multi_line", "name": "log_start_with_date", "pattern" : "\\d{4}-(0?[1-9]|1[012])-(0?[1-9]|[12][0-9]|3[01])"}]}]'

Consultez la documentation relative aux règles de traitement multiligne pour obtenir d’autres d’exemples d’expressions.

Si vous exécutez Kubernetes, vous pouvez utiliser les annotations de pod.

apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: nginx
spec:
  selector:
    matchLabels:
      app: webapp
  template:
    metadata:
      annotations:
        ad.datadoghq.com/nginx.logs: '[{"source":"nginx","service":"webapp"}]'
      labels:
        app: webapp
      name: nginx
    spec:
      containers:
        - name: nginx
          image: nginx:latest

Consultez le guide Autodiscovery pour découvrir des exemples et en savoir plus sur la configuration et le fonctionnement d’Autodiscovery.

Deux variables d’environnement sont disponibles pour inclure ou exclure une liste de conteneurs filtrés par image ou par nom de conteneur :

• DD_AC_INCLUDE : liste des conteneurs à toujours inclure.
• DD_AC_EXCLUDE : liste des conteneurs à exclure.

Ces options fonctionnent à l’aide de chaînes de valeurs séparées par des espaces. Par exemple, si vous souhaitez uniquement surveiller deux images et exclure le reste, indiquez ce qui suit :

DD_AC_EXCLUDE = "image:.*"
DD_AC_INCLUDE = "image:cp-kafka image:k8szk"

Pour exclure un conteneur précis :

DD_AC_EXCLUDE = "name:datadog-agent"

Deux paramètres sont disponibles dans datadog.yaml pour inclure ou exclure une liste de conteneurs filtrés par image ou par nom de conteneur :

• ac_exclude : liste des conteneurs à toujours inclure.
• ac_include : liste des conteneurs à exclure.

Par exemple, si vous souhaitez uniquement surveiller deux images et exclure le reste, indiquez ce qui suit :

ac_exclude: ["image:.*"]
ac_include: ["image:cp-kafka", "image:k8szk"]

Pour exclure l’Agent Datadog :

ac_exclude = ["name:datadog-agent"]