DogStatsD transmet des métriques générées à partir de votre application à l'Agent via un protocole de transport, à savoir UDP (User Datagram Protocol) ou UDS (Unix Domain Socket).
Lorsque DogStatsD est utilisé pour transmettre un volume important de métriques à un seul Agent, si vous ne prenez pas les mesures appropriées, il est courant de rencontrer les problèmes suivants :
Dans la plupart des cas, ces inconvénients peuvent être atténués en ajustant certaines options de configuration décrites ci-dessous.
Nous vous conseillons d’utiliser la dernière version des clients DogStatsD officiels fournis par Datadog pour chaque langage de programmation important.
Certaines clients StatsD et DogStatsD envoient par défaut une métrique par datagramme. Cela ajoute une charge importante au niveau du client, du système d’exploitation et de l’Agent. Si votre client prend en charge la mise en mémoire tampon de plusieurs métriques dans un datagramme, activez cette option pour réduire considérablement les volumes d’échange.
Si vous utilisez un client DogStatsD créé par la communauté et prenant en charge la mise en mémoire tampon, veillez à configurer pour les datagrammes une taille limite inférieure à la taille du tampon par datagramme de l’Agent (8 Ko par défaut, modifiable avec le paramètre dogstatsd_buffer_size de l’Agent) et à la taille limite de datagramme du réseau ou du système d’exploitation.
Voici quelques exemples de clients DogStatsD officiels pris en charge :
Par défaut, la bibliothèque Golang officielle de Datadog, DataDog/datadog-go, utilise la mise en mémoire tampon. Les valeurs par défaut pour la taille de chaque paquet et le nombre de messages varient entre UDS et UDP. Consultez DataDog/datadog-go pour en savoir plus sur la configuration du client.
package main
import (
"log"
"github.com/DataDog/datadog-go/statsd"
)
func main() {
// Dans cet exemple, les métriques sont mises en mémoire tampon par défaut, avec la configuration par défaut appropriée pour UDP.
statsd, err := statsd.New("127.0.0.1:8125")
if err != nil {
log.Fatal(err)
}
statsd.Gauge("example_metric.gauge", 1, []string{"env:dev"}, 1)
}
À l’aide de la bibliothèque Python officielle de Datadog, datadogpy, l’exemple ci-dessous crée une instance du client DogStatsD en mémoire tampon qui envoie jusqu’à 25 métriques au sein d’un paquet à la fin du bloc :
from datadog import DogStatsd
with DogStatsd(host="127.0.0.1", port=8125, max_buffer_size=25) as batch:
batch.gauge('exemple_métrique.gauge_1', 123, tags=["environment:dev"])
batch.gauge('exemple_métrique.gauge_2', 1001, tags=["environment:dev"])
À l’aide de la bibliothèque Ruby officielle de Datadog, dogstatsd-ruby, l’exemple ci-dessous crée une instance du client DogStatsD en mémoire tampon qui envoie des métriques au sein d’un paquet au déclenchement de la transmission :
require 'datadog/statsd'
statsd = Datadog::Statsd.new('127.0.0.1', 8125)
statsd.increment('example_metric.increment', tags: ['environment:dev'])
statsd.gauge('example_metric.gauge', 123, tags: ['environment:dev'])
# transmission synchrone
statsd.flush(sync: true)
À l’aide de la bibliothèque Java officielle de Datadog, java-dogstatsd-client, l’exemple ci-dessous crée une instance du client DogStatsD en mémoire tampon avec une taille de paquet maximale de 1 500 octets. Ainsi, toutes les métriques envoyées depuis cette instance du client sont mises en mémoire tampon et envoyées en paquets d’une taille maximale de 1500 octets :
import com.timgroup.statsd.NonBlockingStatsDClient;
import com.timgroup.statsd.StatsDClient;
import java.util.Random;
public class DogStatsdClient {
public static void main(String[] args) throws Exception {
StatsDClient Statsd = new NonBlockingStatsDClientBuilder()
.prefix("namespace").
.hostname("127.0.0.1")
.port(8125)
.maxPacketSizeBytes(1500)
.build();
Statsd.incrementCounter("example_metric.increment", ["environment:dev"]);
Statsd.recordGaugeValue("example_metric.gauge", 100, ["environment:dev"]);
}
}
À l’aide de la bibliothèque C# officielle de Datadog, dogstatsd-csharp-client, l’exemple ci-dessous crée un client DogStatsD avec le transport UDP :
using StatsdClient;
public class DogStatsdClient
{
public static void Main()
{
var dogstatsdConfig = new StatsdConfig
{
StatsdServerName = "127.0.0.1",
StatsdPort = 8125,
};
using (var dogStatsdService = new DogStatsdService())
{
dogStatsdService.Configure(dogstatsdConfig);
// Les métriques Counter et Gauge sont envoyées dans le même datagramme
dogStatsdService.Counter("example_metric.count", 2, tags: new[] { "environment:dev" });
dogStatsdService.Gauge("example_metric.gauge", 100, tags: new[] { "environment:dev" });
}
}
}
À l’aide de la bibliothèque PHP officielle de Datadog, php-datadogstatsd, l’exemple ci-dessous crée une instance du client DogStatsD en mémoire tampon qui envoie des métriques au sein d’un paquet à la fin du bloc :
<?php
require __DIR__ . '/vendor/autoload.php';
use DataDog\BatchedDogStatsd;
$client = new BatchedDogStatsd(
array('host' => '127.0.0.1',
'port' => 8125,
)
);
$client->increment('exemple_métrique.increment', array('environment'=>'dev'));
$client->increment('exemple_métrique.increment', $sampleRate->0.5 , array('environment'=>'dev'));
Vous pouvez réduire le trafic depuis votre client DogStatsD vers l’Agent en définissant une valeur de taux d’échantillonnage pour votre client. Par exemple, un taux d’échantillonnage de 0.5 réduit de moitié le nombre de paquets UDP transmis. Cette solution constitue un compromis acceptable : vous réduisez le trafic, mais perdez légèrement en précision et en granularité.
Pour en savoir plus et obtenir des exemples de code, consultez le paragraphe Sample Rate de la page DogStatsD.
UDS est un protocole de communication inter-processus utilisé pour transporter les charges utiles DogStatsD. Comparé au protocole UDP, il sollicite peu de ressources et réduit l’empreinte globale de DogStatsD sur votre système.
La plupart des systèmes d’exploitation ajoutent des datagrammes UDP et UDS entrants, qui contiennent vos métriques, dans une mémoire tampon avec une taille limitée. Une fois cette limite atteinte, les datagrammes comprenant vos métriques sont perdues. Vous pouvez ajuster certaines valeurs afin d’accorder davantage de temps à l’Agent pour le traitement des métriques entrantes :
Sur la plupart des distributions Linux, la taille maximale de la mémoire tampon du kernel est par défaut définie sur 212992 (208 KiB). Pour vous en assurer, utilisez la commande suivante :
$ sysctl net.core.rmem_max
net.core.rmem_max = 212992
Pour définir la taille maximale de la mémoire tampon du socket DogStatsD sur 25 MiB, exécutez :
sysctl -w net.core.rmem_max=26214400
Ajoutez la configuration suivante à /etc/sysctl.conf pour appliquer de façon permanente ce changement :
net.core.rmem_max = 26214400
Définissez ensuite l’option de configuration dogstatsd_so_rcvbuf de l’Agent sur le même nombre dans datadog.yaml :
dogstatsd_so_rcvbuf: 26214400
Consultez la section Remarque sur sysctl dans Kubernetes si vous déployez l’Agent ou DogStatsD dans Kubernetes.
Pour les sockets UDS, Linux met en interne les datagrammes dans une file d’attente en mémoire tampon si le lecteur est plus lent que l’enregistreur. La taille de cette file d’attente représente le nombre maximal de datagrammes que Linux met en mémoire tampon par socket. Cette valeur peut être obtenue avec la commande suivante :
sysctl net.unix.max_dgram_qlen
Si la valeur est inférieure à 512, vous pouvez l’augmenter en la définissant sur 512 ou sur un nombre supérieur à l’aide de cette commande :
sysctl -w net.unix.max_dgram_qlen=512
Ajoutez la configuration suivante à /etc/sysctl.conf pour appliquer de façon permanente ce changement :
net.unix.max_dgram_qlen = 512
De la même manière, le paramètre net.core.wmem_max peut atteindre jusqu’à 4 MiB afin d’améliorer les performances d’écriture du client :
net.core.wmem_max = 4194304
Définissez ensuite l’option de configuration dogstatsd_so_rcvbuf de l’Agent sur le même nombre dans datadog.yaml :
dogstatsd_so_rcvbuf: 4194304
Si vous utilisez Kubernetes pour déployer l’Agent et/ou DogStatsD et que vous souhaitez configurer les sysctls comme mentionné ci-dessus, vous devez configurer leur valeur au niveau de chaque conteneur. Étant donné que les sysctl net.* sont dotés d’un espace de nommage, vous pouvez les configurer au niveau des pods. Consultez la documentation Kubernetes officielle (en anglais) pour découvrir comment autoriser l’accès aux sysctrls dans les conteneurs et comment définir leur valeur.
Réduisez l’utilisation du processeur en envoyant des paquets de la bonne taille au serveur DogStatsD dans l’Agent Datadog. Les dernières versions des clients DogStatsD officiels optimisent la taille des paquets envoyés afin d’améliorer les performances.
Vous pouvez ignorer cette section si vous utilisez l’un des derniers clients Datadog DogStatsD.
Si les paquets envoyés sont trop petits, l’Agent Datadog en regroupe plusieurs afin de les traiter par lots par la suite dans le pipeline. Les clients DogStatsD officiels sont capables de regrouper des métriques afin d’optimiser le nombre de métriques par paquet.
Pour optimiser les performances de l’Agent, les clients DogStatsD doivent envoyer des paquets d’une taille correspondant à dogstatsd_buffer_size. La taille des paquets ne doit pas dépasser celle du buffer. Le cas contraire, l’Agent ne peut pas les charger entièrement dans le buffer, ce qui entraîne des anomalies pour certaines métriques. Utilisez le champ de configuration correspondant dans vos clients DogStatsD.
Remarque pour le protocole UDP : étant donné que les paquets UDP passent généralement par la couche Ethernet et IP, évitez de fragmenter les paquets IP en limitant la taille des paquets à une valeur inférieure à une seule trame Ethernet sur votre réseau. La plupart du temps, les réseaux IPv4 sont configurés avec une MTU de 1 500 octets. Dans ce cas, la taille des paquets envoyés ne doit pas dépasser 1 472 octets.
Remarque pour le protocole UDS : pour maximiser les performances, les paquets UDS doivent avoir une taille de 8 192 octets.
Pour pouvoir traiter l’avalanche de métriques envoyées par les clients DogStatsD, l’Agent a recours à la mémoire. Bien que cette opération ne dure qu’une courte période et que la mémoire soit rapidement rendue au système d’exploitation, ce processus entraîne un pic. Ce phénomène peut s’avérer problématique pour les environnements conteneurisés qui expulsent les pods ou conteneurs en cas de manque de mémoire.
Pour éviter que l’Agent Datadog atteigne son seuil d’utilisation de la mémoire, répartissez les envois de métriques pour votre application.
Pour limiter l’utilisation maximale de la mémoire, pensez également à réduire la mise en mémoire tampon. Le buffer principal du serveur DogStatsD dans l’Agent peut être configuré avec le champ dogstatsd_queue_size (depuis l’Agent Datadog 6.1.0). Sa valeur par défaut 1024 limite l’utilisation maximale de la mémoire à environ 768 Mo.
Remarque : la réduction de ce buffer peut entraîner une augmentation du nombre de paquets perdus.
Cet exemple réduit l’utilisation maximale de la mémoire de DogStatsD à environ 384 Mo :
dogstatsd_queue_size: 512
Consultez la section suivante dédiée à la détection des salves pour découvrir comment détecter les salves de métriques de vos applications.
DogStatsD possède un mode statistique qui permet de savoir quelles métriques sont les plus traitées.
Remarque : l’activation de ce mode peut nuire aux performances de DogStatsD.
Pour activer le mode statistique, vous pouvez :
dogstatsd_stats_enable sur true dans votre fichier de configurationDD_DOGSTATSD_STATS_ENABLE sur truedatadog-agent config set dogstatsd_stats true pour activer le mode lors de l’exécution. Vous pouvez le désactiver lors de l’exécution avec la commande datadog-agent config set dogstatsd_stats false.Lorsque ce mode est activé, exécutez la commande datadog-agent dogstatsd-stats. Cela envoie la liste des métriques traitées. Les métriques les plus reçues apparaissent en premier.
Lors de l’exécution de ce mode, le serveur DogStatsD utilise un mécanisme de détection de salves. Si une salve est détectée, un log d’avertissement est généré. Par exemple :
A burst of metrics has been detected by DogStatSd: here is the last 5 seconds count of metrics: [250 230 93899 233 218]
Par défaut, les clients DogStatsD envoient des métriques de télémétrie à l’Agent. Cela vous permet d’identifier plus facilement les goulots d’étranglement. Chaque métrique comporte un tag avec le langage du client ainsi que la version du client. Ces métriques ne sont pas considérées comme des métriques custom.
Chaque client partage un ensemble de tags communs.
| Tag | Description | Exemple |
|---|---|---|
client | Le langage du client. | client:py |
client_version | La version du client. | client_version:1.2.3 |
client_transport | Le protocole de transport utilisé par le client (udp ou uds). | client_transport:uds |
Remarque : lorsque vous utilisez le protocole UDP, le client ne peut pas détecter les erreurs réseau et les métriques correspondantes ne tiennent pas compte des octets/paquets perdus.
La télémétrie a été ajoutée avec la version 0.34.0 du client Python.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppedPour désactiver la télémétrie, utilisez la méthode disable_telemetry :
statsd.disable_telemetry()
Consultez le référentiel DataDog/datadogpy pour en savoir plus sur la configuration du client.
La télémétrie a été ajoutée avec la version 4.6.0 du client Ruby.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppedPour désactiver la télémétrie, définissez le paramètre disable_telemetry sur true :
Datadog::Statsd.new('localhost', 8125, disable_telemetry: true)
Consultez le référentiel DataDog/dogstatsd-ruby pour en savoir plus sur la configuration du client.
La télémétrie a été ajoutée avec la version 3.4.0 du client Go.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.bytes_dropped_queuedatadog.dogstatsd.client.bytes_dropped_writerdatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppeddatadog.dogstatsd.client.packets_dropped_queuedatadog.dogstatsd.client.packets_dropped_writerdatadog.dogstatsd.client.metric_dropped_on_receiveWithChannelMode()). À partir de la version 3.6.0 du client Go.Pour désactiver la télémétrie, utilisez le paramètre WithoutTelemetry :
statsd, err: = statsd.New("127.0.0.1:8125", statsd.WithoutTelemetry())
Consultez le référentiel DataDog/datadog-go pour en savoir plus sur la configuration du client.
La télémétrie a été ajoutée avec la version 2.10.0 du client Java.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppeddatadog.dogstatsd.client.packets_dropped_queuePour désactiver la télémétrie, utilisez l’option builder enableTelemetry(false) :
StatsDClient client = new NonBlockingStatsDClientBuilder()
.hostname("localhost")
.port(8125)
.enableTelemetry(false)
.build();
Consultez le référentiel DataDog/java-dogstatsd-client pour en savoir plus sur la configuration du client.
Depuis la version 1.5.0 du client PHP, la télémétrie est activée par défaut pour le client BatchedDogStatsd et désactivée par défaut pour le client DogStatsd.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppedPour activer ou désactiver la télémétrie, utilisez l’argument disable_telemetry. Cependant, sachez que l’utilisation de la télémétrie avec le client DogStatsd entraîne une augmentation considérable de l’utilisation du réseau. Il est recommandé d’utiliser BatchedDogStatsd lors de l’utilisation de la télémétrie.
Pour l’activer sur le client DogStatsd :
use DataDog\DogStatsd;
$statsd = new DogStatsd(
array('host' => '127.0.0.1',
'port' => 8125,
'disable_telemetry' => false,
)
);
Pour désactiver la télémétrie sur le client BatchedDogStatsd :
use DataDog\BatchedDogStatsd;
$statsd = new BatchedDogStatsd(
array('host' => '127.0.0.1',
'port' => 8125,
'disable_telemetry' => true,
)
);
Consultez le référentiel DataDog/php-datadogstatsd pour en savoir plus sur la configuration du client.
La télémétrie a été ajoutée avec la version 5.0.0 du client .NET.
datadog.dogstatsd.client.metricsmetrics envoyées au client DogStatsD par votre application (avant l’échantillonnage).datadog.dogstatsd.client.eventsevents envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.service_checksservice_checks envoyés au client DogStatsD par votre application.datadog.dogstatsd.client.bytes_sentdatadog.dogstatsd.client.bytes_droppeddatadog.dogstatsd.client.packets_sentdatadog.dogstatsd.client.packets_droppeddatadog.dogstatsd.client.packets_dropped_queuePour désactiver la télémétrie, définissez TelemetryFlushInterval sur null :
var dogstatsdConfig = new StatsdConfig
{
StatsdServerName = "127.0.0.1",
StatsdPort = 8125,
};
// Désactiver la télémétrie
dogstatsdConfig.Advanced.TelemetryFlushInterval = null;
Consultez le référentiel DataDog/dogstatsd-csharp-client pour en savoir plus sur la configuration du client.
Documentation, liens et articles supplémentaires utiles:
