Ce produit n'est pas pris en charge pour le site Datadog que vous avez sélectionné. ().
Présentation
Ce document vous guide tout au long du processus de configuration de votre environnement Azure et d’installation de BYOC (Bring Your Own Cloud) Logs sur Azure AKS.
Prérequis
Avant d’installer BYOC Logs sur Azure, vous devez mettre en place un ensemble de ressources d’infrastructure de support. Ces composants fournissent les services fondamentaux de calcul, de stockage, de base de données et de mise en réseau dont dépendent BYOC Logs.
Exigences en matière d’infrastructure
Voici les composants que vous devez provisionner :
Azure Kubernetes Service (AKS): Un cluster AKS en cours d’exécution dimensionné pour votre charge de travail prévue de BYOC Logs.
PostgreSQL Flexible Server : Une instance Azure Database for PostgreSQL que BYOC Logs utilisera pour stocker ses métadonnées.
Contrôleur d’entrée NGINX : Installé sur le cluster AKS pour acheminer le trafic externe vers les services BYOC Logs.
Datadog Agent : Déployé sur le cluster AKS pour collecter et envoyer les logs à BYOC Logs.
Azure Kubernetes Service (AKS)
BYOC Logs s’exécute entièrement sur Kubernetes. Vous avez besoin d’un cluster AKS avec suffisamment de CPU, de mémoire et d’espace disque configurés pour votre charge de travail. Consultez les recommandations de dimensionnement du cluster Kubernetes pour obtenir des conseils.
Pour confirmer que le cluster est accessible et que les nœuds sont dans l’état Ready, exécutez la commande suivante :
kubectl get nodes -o wide
Azure PostgreSQL Flexible Server
BYOC Logs stocke ses métadonnées et sa configuration dans une base de données PostgreSQL. Datadog recommande Azure Database pour PostgreSQL Flexible Server. Il doit être accessible depuis le cluster AKS, idéalement avec un réseau privé activé. Consultez les recommandations de dimensionnement Postgres pour plus de détails.
Pour des raisons de sécurité, créez une base de données et un utilisateur dédiés pour BYOC Logs, et accordez à l'utilisateur des droits uniquement sur cette base de données, et non à l'échelle du cluster.
Connectez-vous à votre base de données PostgreSQL depuis le réseau AKS en utilisant le client PostgreSQL, psql. Tout d’abord, démarrez un pod interactif dans votre cluster Kubernetes en utilisant une image qui inclut psql :
BYOC Logs utilise Azure Blob Storage pour conserver les logs. Créez un conteneur dédié à cet effet.
Créer un conteneur de stockage Blob
Utilisez un conteneur dédié par environnement (par exemple, byoc-logs-prod, byoc-logs-staging), et attribuez des rôles RBAC avec le privilège minimum au niveau du conteneur, plutôt qu’au niveau du compte de stockage.
Une application Azure AD doit se voir accorder un accès en lecture/écriture au conteneur de stockage Blob. Enregistrez une application dédiée pour BYOC Logs et attribuez au principal de service correspondant le rôle Contributor sur le conteneur de stockage Blob créé ci-dessus.
L’entrée publique est essentielle pour permettre à Datadog de gérer et d’interroger les clusters BYOC Logs sur l’internet public. Elle fournit un accès sécurisé à l’API gRPC de BYOC Logs via les mécanismes suivants :
Crée un équilibreur de charge Azure accessible sur Internet qui accepte le trafic provenant des services Datadog
Implémente le chiffrement TLS avec terminaison au niveau du contrôleur d’entrée
Utilise HTTP/2 (gRPC) pour la communication entre Datadog et les clusters BYOC Logs
Nécessite une authentification TLS mutuelle (mTLS) où les services Datadog doivent présenter des certificats clients valides
Configure le contrôleur en mode TLS passthrough pour transférer les certificats clients aux pods de BYOC Logs avec l’en-tête ssl-client-cert.
Rejette les demandes auxquelles il manque des certificats clients valides ou l’en-tête de certificat
Utilisez le fichier de valeurs Helm nginx-public.yaml suivant afin de créer le contrôleur d’entrée NGINX public :
Vérifiez que le pod du contrôleur est en cours d’exécution :
kubectl get pods -n nginx-ingress-public -l app.kubernetes.io/component=controller
Vérifiez que le service expose une adresse IP externe :
kubectl get svc -n nginx-ingress-public -l app.kubernetes.io/component=controller
Contrôleur d’entrée NGINX interne
L’ingress interne permet l’ingestion de logs depuis les agents Datadog et d’autres collecteurs de logs au sein de votre environnement via HTTP. Utilisez le fichier de valeurs Helm nginx-internal.yaml suivant afin de créer le contrôleur d’entrée NGINX public :
Vérifiez que le pod du contrôleur est en cours d’exécution :
kubectl get pods -n nginx-ingress-internal -l app.kubernetes.io/component=controller
Vérifiez que le service expose une adresse IP externe :
kubectl get svc -n nginx-ingress-internal -l app.kubernetes.io/component=controller
DNS
Optionnellement, vous pouvez ajouter une entrée DNS pointant vers l’adresse IP de l’équilibreur de charge public, afin que les futurs changements d’IP ne nécessitent pas de mettre à jour la configuration du côté de Datadog.
Créer un espace de noms Kubernetes pour le chart :
kubectl create namespace <NAMESPACE_NAME>
Par exemple, pour créer un espace de noms byoc-logs :
kubectl create namespace byoc-logs
Remarque : Vous pouvez définir un espace de noms par défaut pour votre contexte actuel afin d’éviter d’avoir à taper -n <NAMESPACE_NAME> à chaque commande :
Stockez la chaîne de connexion à la base de données PostgreSQL en tant que secret Kubernetes :
Pour récupérer vos détails de connexion PostgreSQL, accédez au portail Azure, naviguez vers All resources, puis cliquez sur votre instance Azure Database for PostgreSQL flexible server. Enfin, dans l’onglet Getting started, cliquez sur le lien View connection strings dans la carte Connect.
Créez un fichier datadog-values.yaml pour remplacer les valeurs par défaut par votre configuration personnalisée. C’est ici que vous définissez les paramètres spécifiques à l’environnement tels que le tag d’image, l’ID de locataire Azure, le compte de service, la configuration de l’ingress, les demandes et limites de ressources, et plus encore.
Tous les paramètres qui ne sont pas explicitement remplacés dans datadog-values.yaml retombent sur les valeurs par défaut définies dans le values.yaml du chart Helm.
# Show default values helm show values datadog/cloudprem
Voici un exemple de fichier datadog-values.yaml avec des remplacements pour Azure :
datadog-values.yaml
# Datadog configurationdatadog:# The Datadog site (https://docs.datadoghq.com/getting_started/site/) to connect to. Defaults to `datadoghq.com`.# site: datadoghq.com# The name of the existing Secret containing the Datadog API key. The secret key name must be `api-key`.apiKeyExistingSecret:datadog-secretazure:tenantId:<TENANT_ID># requiredclientId:<CLIENT_ID># required when using AD App to authenticate with Blob StorageclientSecretRef:name:<SECRET_NAME>key:<SECRET_KEY>storageAccount:name:<STORAGE_ACCOUNT_NAME># required# If you are using a storage account access key to authenticate with Blob Storage,# comment out the `clientSecretRef` section above,# and uncomment the `storageAccount` section below:# accessKeySecretRef:# name: <SECRET_NAME># key: <SECRET_KEY># Service account configuration# If `serviceAccount.create` is set to `true`, a service account is created with the specified name.# Additional annotations can be added using serviceAccount.extraAnnotations.serviceAccount:create:truename:byoc-logs# BYOC Logs node configurationconfig:# The root URI where index data is stored. This should be an Azure path.# All indexes created in BYOC Logs are stored under this location.default_index_root_uri:azure://<CONTAINER_NAME>/indexes# Internal ingress configuration# The internal ingress NLB is created in private subnets.## Additional annotations can be added to customize the ALB behavior.ingress:# The internal ingress is used by Datadog Agents and other collectors running outside# the Kubernetes cluster to send their logs to BYOC Logs.internal:enabled:trueingressClassName:nginx-internalhost:byoc-logs.acme.internalextraAnnotations:{}# Metastore configuration# The metastore is responsible for storing and managing index metadata.# It requires a PostgreSQL database connection string to be provided by a Kubernetes secret.# The secret should contain a key named `QW_METASTORE_URI` with a value in the format:# postgresql://<username>:<password>@<host>:<port>/<database>## The metastore connection string is mounted into the pods using extraEnvFrom to reference the secret.metastore:extraEnvFrom:- secretRef:name:byoc-logs-metastore-uri# Indexer configuration# The indexer is responsible for processing and indexing incoming data it receives data from various sources (for example, Datadog Agents, log collectors)# and transforms it into searchable files called "splits" stored in S3.## The indexer is horizontally scalable - you can increase `replicaCount` to handle higher indexing throughput.# The `podSize` parameter sets vCPU, memory, and component-specific settings automatically.# See the sizing guide for available tiers and their configurations.indexer:replicaCount:2podSize:xlargepersistentVolume:enabled:truestorage:250GistorageClass:managed-csi# Searcher configuration# The searcher is responsible for executing search queries against the indexed data stored in S3.# It handles search requests from Datadog's query service and returns matching results.## The searcher is horizontally scalable - you can increase `replicaCount` to handle more concurrent searches.# Resource requirements for searchers are highly workload-dependent and should be determined empirically.# Key factors that impact searcher performance include:# - Query complexity (for example, number of terms, use of wildcards or regex)# - Query concurrency (number of simultaneous searches)# - Amount of data scanned per query# - Data access patterns (cache hit rates)## Memory is particularly important for searchers as they cache frequently accessed index data in memory.searcher:replicaCount:2podSize:xlarge