AWS

Crawler

Présentation

Associez Amazon Web Services (AWS) pour :

• Consulter des mises à jour automatiques de statut AWS dans votre flux
• Obtenir des métriques CloudWatch pour les hosts EC2 sans installer l’Agent
• Appliquer un tag à vos hosts EC2 comportant des informations spécifiques à EC2 (p. ex., leur zone de disponibilité)
• Consulter les événements de maintenance EC2 planifiés dans votre flux
• Recueillir des métriques et des événements CloudWatch depuis de nombreux autres produits AWS

Implémentation

La configuration de l’intégration de Datadog à Amazon Web Services nécessite de configurer la délégation de rôles à l’aide d’AWS IAM. Pour mieux comprendre le principe de délégation des rôles, reportez-vous au guide des bonnes pratiques pour AWS IAM.

Délégation des rôles

Choisissez la méthode que vous souhaitez utiliser pour configurer le rôle AWS nécessaire. Nous vous conseillons d’utiliser CloudFormation.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "apigateway:GET",
                "autoscaling:Describe*",
                "budgets:ViewBudget",
                "cloudfront:GetDistributionConfig",
                "cloudfront:ListDistributions",
                "cloudtrail:DescribeTrails",
                "cloudtrail:GetTrailStatus",
                "cloudwatch:Describe*",
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "codedeploy:List*",
                "codedeploy:BatchGet*",
                "directconnect:Describe*",
                "dynamodb:List*",
                "dynamodb:Describe*",
                "ec2:Describe*",
                "ecs:Describe*",
                "ecs:List*",
                "elasticache:Describe*",
                "elasticache:List*",
                "elasticfilesystem:DescribeFileSystems",
                "elasticfilesystem:DescribeTags",
                "elasticloadbalancing:Describe*",
                "elasticmapreduce:List*",
                "elasticmapreduce:Describe*",
                "es:ListTags",
                "es:ListDomainNames",
                "es:DescribeElasticsearchDomains",
                "health:DescribeEvents",
                "health:DescribeEventDetails",
                "health:DescribeAffectedEntities",
                "kinesis:List*",
                "kinesis:Describe*",
                "lambda:AddPermission",
                "lambda:GetPolicy",
                "lambda:List*",
                "lambda:RemovePermission",
                "logs:TestMetricFilter",
                "logs:PutSubscriptionFilter",
                "logs:DeleteSubscriptionFilter",
                "logs:DescribeSubscriptionFilters",
                "rds:Describe*",
                "rds:List*",
                "redshift:DescribeClusters",
                "redshift:DescribeLoggingStatus",
                "route53:List*",
                "s3:GetBucketLogging",
                "s3:GetBucketLocation",
                "s3:GetBucketNotification",
                "s3:GetBucketTagging",
                "s3:ListAllMyBuckets",
                "s3:PutBucketNotification",
                "ses:Get*",
                "sns:List*",
                "sns:Publish",
                "sqs:ListQueues",
                "states:ListStateMachines",
                "states:DescribeStateMachine",
                "support:*",
                "tag:GetResources",
                "tag:GetTagKeys",
                "tag:GetTagValues",
                "xray:BatchGetTraces",
                "xray:GetTraceSummaries"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "ec2:Describe*",
                "support:*",
                "tag:GetResources",
                "tag:GetTagKeys",
                "tag:GetTagValues"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}

GovCloud et Chine

1. Ouvrez le carré d’intégration AWS.
2. Sélectionnez l’onglet Access Keys (GovCloud or China Only).
3. Saisissez votre clé d’accès et votre clé de secret AWS. Seules les clés d’accès et de secret pour GovCloud et la Chine sont acceptées.
4. Depuis le côté gauche de la fenêtre, choisissez les services pour lesquels vous souhaitez récupérer des métriques.
5. Si vous le souhaitez, ajoutez des tags à l’ensemble des hosts et des métriques.
6. Vous pouvez surveiller un sous-ensemble d’instances EC2 en saisissant les tags AWS correspondants dans la zone de texte to hosts with tag.
7. Vous pouvez surveiller un sous-ensemble de Lambdas en saisissant les tags AWS correspondants dans la zone de texte to Lambdas with tag.
8. Cliquez sur Install Integration.

Collecte de logs

Les logs de service AWS sont recueillis via la fonction Lambda du Forwarder Datadog. Ce Lambda, qui se déclenche sur les compartiments S3, les groupes de logs CloudWatch et les événements CloudWatch, transmet des logs à Datadog.

Pour commencer à recueillir des logs à partir de vos services AWS :

1. Configurez la fonction Lambda du Forwarder Datadog dans votre compte AWS en suivant les instructions figurant dans le référentiel Github DataDog/datadog-serverless-functions.
2. Activez la journalisation pour votre service AWS (la plupart des services AWS peuvent se connecter à un compartiment S3 ou à un groupe de logs CloudWatch).

3. Configurez les déclencheurs entraînant l’exécution du Lambda. Il existe deux façons de les configurer :

   • Automatiquement : Datadog récupère les logs pour les services AWS sélectionnés et les ajoute en tant que déclencheurs pour la fonction Lambda de Datadog. Datadog met également la liste à jour.
   • Manuellement : configurez vous-même chaque déclencheur via la console AWS.

Remarque : si vous appartenez à la région us-east-1 d’AWS, utilisez l’intégration Datadog/AWS PrivateLink pour transmettre vos logs à Datadog. Pour ce faire, votre fonction Forwarder doit disposer de l’autorisation VPCLambdaExecutionRole.

Avancé : Ingestion de logs avec Kinesis

Au lieu de déclencher le Forwarder Datadog sur les groupes de logs CloudWatch de vos fonctions Lambda, vous pouvez configurer un flux Kinesis abonné aux groupes de logs de vos fonctions Lambda, puis abonner le Forwarder Datadog à ce flux.

Configuration de la transmission de logs avec Kinesis

1. Suivez ces instructions pour lancer la pile CloudFormation du Forwarder Datadog dans votre compte AWS.
2. Identifiez les groupes de logs CloudWatch de vos fonctions Lambda dont les données doivent être transmises à Datadog. Ces groupes de logs sont intitulés /aws/lambda/{Nom de la fonction Lambda}. Pour les retrouver, filtrez les groupes de logs avec le préfixe /aws/lambda/.
3. Vérifiez si un service est déjà abonné aux groupes de logs qui vous intéressent à l’aide de la colonne Subscriptions sur la page des groupes de logs. Seul un abonnement est possible pour chaque groupe de logs CloudWatch : tout abonnement existant devra donc être supprimé avant d’ajouter le nouveau flux Kinesis en tant qu’abonné.
   • Notez que si vous souhaitez abonner un autre service à ces logs, vous aurez la possibilité de l’abonner au nouveau flux Kinesis une fois la configuration terminée.
4. Créez un nouveau flux Kinesis (référez-vous à la documentation de Kinesis). Donnez un nom explicite à votre flux, par exemple DatadogLambdaLogStream, et définissez le nombre de shards (partitions) sur 1.
5. Abonnez votre nouveau flux Kinesis aux groupes de logs CloudWatch que vous souhaitez intégrer à Datadog. Consultez cette section de la documentation sur les logs CloudWatch pour :
   1. Utiliser la commande aws iam create-role pour créer un rôle IAM qui autorise CloudWatch à transmettre ses données de logs au flux Kinesis.
   2. Créer une stratégie autorisant l’action kinesis:PutRecord.
   3. Associer la stratégie d’autorisation au rôle IAM que vous venez de créer avec la commande aws iam put-role-policy.
   4. Utiliser la commande aws logs put-subscription-filter pour abonner votre flux Kinesis à chaque groupe de logs CloudWatch que vous souhaitez intégrer à Datadog.
6. Examinez la colonne Subscriptions de la page des groupes de logs pour vérifier que votre nouveau flux Kinesis est bien abonné aux groupes de logs de vos Lambdas.
7. Ajoutez le flux Kinesis en tant que déclencheur à la fonction Lambda du Forwarder Datadog. Afin de limiter la latence des métriques et des logs, nous vous conseillons de définir le paramètre Batch window sur 60 secondes.
8. La fonction Lambda du Forwarder Datadog commence alors à être déclenchée par les logs de vos autres fonctions Lambda, et vos logs se mettent à apparaître dans Datadog.

Avantages de Kinesis pour le streaming de logs

• Si les groupes de logs CloudWatch sont limités à un seul abonnement, ce n’est pas le cas des flux Kinesis. Après avoir abonné le flux Kinesis aux groupes de logs, vous pouvez abonner plusieurs services à ce flux afin de tous leur transmettre les données de logs.
• Étant donné qu’il est possible de configurer la taille des lots et l’intervalle de collecte dans Kinesis, vous êtes libre de définir la fréquence à laquelle la fonction Lambda du Forwarder Datadog doit se déclencher.

Inconvénients de Kinesis pour le streaming de logs

• Il n’est pas possible d’utiliser un flux Kinesis pour vos logs en même temps que le système de déclenchement automatique du Forwarder de Datadog. Vous devrez ajouter vote flux en tant qu’abonné à chaque groupe de logs que vous souhaitez intégrer à Datadog.
• L’utilisation du flux Kinesis est facturée par AWS. Consultez la documentation sur les tarifs de Kinesis pour en savoir plus.

Activer la journalisation pour votre service AWS

Tous les services AWS qui génèrent des logs dans un compartiment S3 ou un groupe de logs CloudWatch sont pris en charge. Consultez les instructions de configuration spécifiques des services les plus utilisés dans le tableau ci-dessous :

Envoyer des logs de service AWS à Datadog

Vous pouvez choisir entre deux options pour la configuration des déclencheurs de la fonction Lambda de Datadog :

• Configurer manuellement des déclencheurs sur des compartiments S3, des groupes de logs CloudWatch ou des événements CloudWatch.
• Laisser Datadog définir et gérer automatiquement la liste des déclencheurs.

Configurer automatiquement des déclencheurs

Si vous stockez des logs dans de nombreux compartiments S3 ou groupes de logs CloudWatch, Datadog peut gérer automatiquement les déclencheurs à votre place.

1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.

2. Vérifiez que la stratégie du rôle IAM utilisé pour l’intégration Datadog/AWS possède les autorisations suivantes. Le fonctionnement de ces autorisations est décrit ci-dessous :

   "cloudfront:GetDistributionConfig",
   "cloudfront:ListDistributions",
   "elasticloadbalancing:DescribeLoadBalancers",
   "elasticloadbalancing:DescribeLoadBalancerAttributes",
   "lambda:List*",
   "lambda:AddPermission",
   "lambda:GetPolicy",
   "lambda:RemovePermission",
   "redshift:DescribeClusters",
   "redshift:DescribeLoggingStatus",
   "s3:GetBucketLogging",
   "s3:GetBucketLocation",
   "s3:GetBucketNotification",
   "s3:ListAllMyBuckets",
   "s3:PutBucketNotification",
   "logs:PutSubscriptionFilter",
   "logs:DeleteSubscriptionFilter",
   "logs:DescribeSubscriptionFilters"

   Autorisation AWS	Description
   cloudfront:GetDistributionConfig	Récupère le nom du compartiment S3 contenant les logs d’accès CloudFront.
   cloudfront:ListDistributions	Répertorie toutes les distributions CloudFront.
   elasticloadbalancing: DescribeLoadBalancers	Répertorie tous les répartiteurs de charge.
   elasticloadbalancing: DescribeLoadBalancerAttributes	Récupère le nom du compartiment S3 contenant les logs d’accès ELB.
   lambda:List*	Énumère toutes les fonctions Lambda.
   lambda:AddPermission	Ajoute une autorisation permettant à un compartiment S3 de déclencher une fonction Lambda.
   lambda:GetPolicy	Récupère la stratégie Lambda lorsque des déclencheurs doivent être supprimés.
   lambda:RemovePermission	Supprime des autorisations d’une stratégie Lambda.
   redshift:DescribeClusters	Répertorie tous les clusters Redshift.
   redshift:DescribeLoggingStatus	Récupère le nom du compartiment S3 contenant des logs Redshift.
   s3:GetBucketLogging	Récupère le nom du compartiment S3 contenant les logs d’accès S3.
   s3:GetBucketLocation	Récupère la région du compartiment S3 contenant les logs d’accès S3.
   s3:GetBucketNotification	Récupère les configurations des déclencheurs Lambda existants.
   s3:ListAllMyBuckets	Répertorie tous les compartiments S3.
   s3:PutBucketNotification	Ajoute ou supprime un déclencheur Lambda basé sur des événements de compartiment S3.
   logs:PutSubscriptionFilter	Ajoute un déclencheur Lambda basé sur des événements de log CloudWatch.
   logs:DeleteSubscriptionFilter	Supprime un déclencheur Lambda basé sur des événements de log CloudWatch.
   logs:DescribeSubscriptionFilters	Répertorie les filtres d’abonnement pour le groupe de logs spécifié.

3. Accédez à l’onglet Collect logs dans le carré d’intégration AWS.

4. Sélectionnez le compte AWS à partir duquel vous souhaitez recueillir des logs, puis saisissez l’ARN du Lambda créé dans la section précédente.

5. Sélectionnez les services à partir desquels vous souhaitez recueillir des logs, puis enregistrez. Pour arrêter la collecte de logs d’un service spécifique, décochez la case associée.

6. Si vous possédez des logs dans plusieurs régions, vous devez créer des fonctions Lambda supplémentaires dans ces régions et les indiquer dans ce carré.

7. Pour arrêter la collecte de l’ensemble des logs AWS, appuyez sur la croix en regard de chaque ARN de Lambda. Tous les déclencheurs de cette fonction seront supprimés.

8. Quelques minutes après cette première configuration, vos logs AWS apparaissent sur votre page Log Explorer Datadog en temps quasi-réel.

Configurer manuellement des déclencheurs

Collecte de logs depuis un groupe de logs CloudWatch

Si vous stockez des logs dans un groupe de logs CloudWatch, suivez les étapes ci-dessous pour les transmettre à Datadog :

1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.
2. Une fois la fonction Lambda installée, ajoutez manuellement un déclencheur dans la console AWS sur le groupe de logs CloudWatch qui contient vos logs :

Sélectionnez le groupe de logs CloudWatch correspondant, ajoutez un nom de filtre (vous pouvez toutefois laisser le filtre vide) et ajoutez le déclencheur :

Accédez ensuite à la section Logs de Datadog pour commencer à explorer vos logs !

Si vous utilisez Terraform, vous pouvez provisionner et gérer vos déclencheurs avec la ressource aws_cloudwatch_log_subscription_filter. Consultez l’exemple de code ci-dessous.

resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
  name            = "datadog_log_subscription_filter"
  log_group_name  = <NOM_GROUPE_LOGS_CLOUDWATCH> # p. ex. /aws/lambda/nom_fonction_lambda
  destination_arn = <ARN_FORWARDER_DATADOG> # p. ex. arn:aws:lambda:us-east-1:123:function:datadog-forwarder
  filter_pattern  = ""
}

Si vous utilisez Serverless Framework, SAM ou CloudFormation, vous pouvez provisionner et gérer vos déclencheurs avec la ressource AWS::Logs::SubscriptionFilter de CloudFormation. Un exemple de code est fourni ci-dessous. Si vous utilisez Serverless Framework, le bloc de code doit être placé dans la section resources de votre fichier serverless.yml.

Resources:
  MyLogSubscriptionFilter:
    Type: "AWS::Logs::SubscriptionFilter"
    Properties:
      DestinationArn: "<ARN_FORWARDER_DATADOG>"
      LogGroupName: "<NOM_GROUPE_LOGS_CLOUDWATCH>"
      FilterPattern: ""

Collecte de logs depuis des compartiments S3

Si vous stockez des logs dans un compartiment S3, suivez les étapes ci-dessous pour les transmettre à Datadog :

1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.

2. Une fois la fonction Lambda installée, ajoutez manuellement un déclencheur dans la console AWS sur le compartiment S3 qui contient vos logs :

3. Sélectionnez le compartiment, puis suivez les instructions d’AWS :

4. Définissez le bon type d’événement sur les compartiments S3 :

Accédez ensuite à votre section Logs de Datadog pour commencer à explorer vos logs !

Si vous utilisez Terraform, vous pouvez provisionner et gérer vos déclencheurs avec la ressource aws_s3_bucket_notification. Consultez l’exemple de code ci-dessous.

resource "aws_s3_bucket_notification" "my_bucket_notification" {
  bucket = my_bucket
  lambda_function {
    lambda_function_arn = "<ARN_FORWARDER_DATADOG>"
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }
}

resource "aws_lambda_permission" "allow_bucket" {
  statement_id  = "AllowExecutionFromS3Bucket"
  action        = "lambda:InvokeFunction"
  function_name = "<ARN_FORWARDER_DATADOG>"
  principal     = "s3.amazonaws.com"
  source_arn    = "<ARN_DU_COMPARTIMENT>"
}

Si vous utilisez Serverless Framework, SAM ou CloudFormation, vous pouvez configurer vos déclencheurs avec la propriété NotificationConfiguration de CloudFormation pour votre compartiment S3. Un exemple de code est fourni ci-dessous. Si vous utilisez Serverless Framework, le bloc de code doit être placé dans la section resources de votre fichier serverless.yml.

Resources:
  Bucket:
    Type: AWS::S3::Bucket
    DependsOn: BucketPermission
    Properties:
      BucketName: "<MON_COMPARTIMENT>"
      NotificationConfiguration:
        LambdaConfigurations:
        - Event: 's3:ObjectCreated:*'
          Function: "<ARN_FORWARDER_DATADOG>"
  BucketPermission:
    Type: AWS::Lambda::Permission
    Properties:
      Action: 'lambda:InvokeFunction'
      FunctionName: "<ARN_FORWARDER_DATADOG>"
      Principal: s3.amazonaws.com
      SourceArn: <ARN_DU_COMPARTIMENT>
      SourceAccount: !Ref "AWS::AccountId"

Données collectées

Métriques

Événements

Vous pouvez configurer la collecte d’événements AWS pour chaque service AWS. Consultez la documentation des différents services AWS pour en savoir plus sur la collecte d’événements.

Dépannage

Écart entre vos données dans CloudWatch et Datadog

Il est important de tenir compte des deux distinctions suivantes :

1. Pour les counters AWS, un graphique défini sur « sum » « 1minute » affiche le nombre total d’occurrences en l’espace d’une minute, soit le taux par minute. Datadog affiche les données brutes à partir des valeurs AWS normalisées par seconde, peu importe l’intervalle sélectionné dans AWS. Cela explique pourquoi la valeur affichée dans Datadog peut être plus faible.
2. Les valeurs minimales, maximales et moyennes n’ont généralement pas la même signification dans AWS et dans Datadog. Dans AWS, les latences moyenne, minimale et maximale correspondent à trois métriques distinctes recueillies. Lorsque Datadog récupère des métriques à partir d’AWS CloudWatch, la latence moyenne est transmise sous la forme de séries temporelles distinctes par ELB. Dans Datadog, lorsque vous sélectionnez les valeurs « min », « max » ou « avg », vous définissez les critères de rassemblement de séries temporelles. Par exemple, si vous cherchez à obtenir system.cpu.idle sans appliquer de filtre, une série est envoyée pour chaque host qui renvoie cette métrique. Ces séries doivent être combinées pour être représentées graphiquement. À l’inverse, si vous cherchez à obtenir system.cpu.idle pour un seul host, aucune agrégation n’est nécessaire. Les valeurs maximale et moyenne sont identiques.

Métriques en retard

Lorsque vous utilisez l’intégration AWS, Datadog récupère vos métriques via l’API CloudWatch. Il est possible que les données des métriques AWS accusent un léger retard, en raison des contraintes liées à l’API.

Pour commencer, l’API CloudWatch propose uniquement une analyse métrique par métrique afin d’extraire des données. Les API CloudWatch prévoient une limite de débit qui varie en fonction des informations d’authentification, de la région et du service. Les métriques sont transmises par AWS en fonction du niveau du compte. Par exemple, si vous payez pour des « métriques détaillées » dans AWS, vous y avez accès plus rapidement. Ce niveau de service pour les métriques détaillées s’applique également à la granularité. Ainsi, certaines métriques sont transmises toutes les minutes, tandis que d’autres sont envoyées toutes les cinq minutes.

Datadog vous permet de hiérarchiser certaines métriques d’un compte afin de les récupérer en priorité, en fonction de certaines circonstances. Contactez l’assistance Datadog pour en savoir plus.

Pour obtenir des métriques en temps quasi-réel, installez l’Agent Datadog sur le host. Pour en savoir plus, consultez l’article de blog de Datadog Tout ce que vous devez savoir pour effectuer une surveillance à partir d’Agents (en anglais).

Métriques manquantes

L’API CloudWatch renvoie uniquement les métriques avec des points de données. Ainsi, si un ELB ne possède aucune instance liée, aucune métrique associée à cet ELB n’apparaît dans Datadog.

Nombre aws.elb.healthy_host_count incorrect

Lorsque l’option d’équilibrage des charges entre zones est activée sur un ELB, toutes les instances liées à cet ELB font partie de toutes les zones de disponibilité (pour CloudWatch). Ainsi, si vous possédez deux instances dans 1a et trois dans ab, la métrique affiche cinq instances par zone de disponibilité. Puisque cela peut s’avérer contre-intuitif, nous avons ajouté de nouvelles métriques, aws.elb.healthy_host_count_deduped et aws.elb.un_healthy_host_count_deduped, qui affichent le nombre d’instances saines et non saines par zone de disponibilité, que vous ayez activé ou non l’option d’équilibrage des charges entre zones.

Hosts dupliqués lors de l’installation de l’Agent

Lors de l’installation de l’Agent sur un host AWS, il est possible que des hosts soient dupliqués pendant quelques heures sur la page d’infrastructure si vous avez défini manuellement le hostname dans la configuration de l’Agent. Ces doublons disparaîtront après quelques heures et ne seront pas pris en compte pour la facturation.