AWS

Crawler

Présentation

Associez Amazon Web Services (AWS) pour :

• Consulter des mises à jour automatiques de statut AWS dans votre flux
• Obtenir des métriques CloudWatch pour les hosts EC2 sans installer l’Agent
• Appliquer un tag à vos hosts EC2 comportant des informations spécifiques à EC2 (p. ex., leur zone de disponibilité)
• Consulter les événements de maintenance EC2 planifiés dans votre flux
• Recueillir des métriques et des événements CloudWatch depuis de nombreux autres produits AWS

Configuration

Choisissez l’une des méthodes suivantes pour intégrer vos comptes AWS dans Datadog afin de collecter des métriques, des traces et des logs :

• Délégation des rôles (Automatique) : Utilisez un modèle CloudFormation afin de configurer automatiquement le rôle AWS nécessaire (conseillé).
• Délégation des rôles (Manuelle) : Créez manuellement les rôles nécessaires et copiez les identifiants requis dans le formulaire correspondant.
• Clés d’accès : Utilisé pour GovCloud ou la Chine uniquement

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "apigateway:GET",
                "autoscaling:Describe*",
                "budgets:ViewBudget",
                "cloudfront:GetDistributionConfig",
                "cloudfront:ListDistributions",
                "cloudtrail:DescribeTrails",
                "cloudtrail:GetTrailStatus",
                "cloudtrail:LookupEvents",
                "cloudwatch:Describe*",
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "codedeploy:List*",
                "codedeploy:BatchGet*",
                "directconnect:Describe*",
                "dynamodb:List*",
                "dynamodb:Describe*",
                "ec2:Describe*",
                "ecs:Describe*",
                "ecs:List*",
                "elasticache:Describe*",
                "elasticache:List*",
                "elasticfilesystem:DescribeFileSystems",
                "elasticfilesystem:DescribeTags",
                "elasticfilesystem:DescribeAccessPoints",
                "elasticloadbalancing:Describe*",
                "elasticmapreduce:List*",
                "elasticmapreduce:Describe*",
                "es:ListTags",
                "es:ListDomainNames",
                "es:DescribeElasticsearchDomains",
                "fsx:DescribeFileSystems",
                "fsx:ListTagsForResource",
                "health:DescribeEvents",
                "health:DescribeEventDetails",
                "health:DescribeAffectedEntities",
                "kinesis:List*",
                "kinesis:Describe*",
                "lambda:GetPolicy",
                "lambda:List*",
                "logs:DeleteSubscriptionFilter",
                "logs:DescribeLogGroups",
                "logs:DescribeLogStreams",
                "logs:DescribeSubscriptionFilters",
                "logs:FilterLogEvents",
                "logs:PutSubscriptionFilter",
                "logs:TestMetricFilter",
                "organizations:DescribeOrganization",
                "rds:Describe*",
                "rds:List*",
                "redshift:DescribeClusters",
                "redshift:DescribeLoggingStatus",
                "route53:List*",
                "s3:GetBucketLogging",
                "s3:GetBucketLocation",
                "s3:GetBucketNotification",
                "s3:GetBucketTagging",
                "s3:ListAllMyBuckets",
                "s3:PutBucketNotification",
                "ses:Get*",
                "sns:List*",
                "sns:Publish",
                "sqs:ListQueues",
                "states:ListStateMachines",
                "states:DescribeStateMachine",
                "support:*",
                "tag:GetResources",
                "tag:GetTagKeys",
                "tag:GetTagValues",
                "xray:BatchGetTraces",
                "xray:GetTraceSummaries"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:Get*",
                "cloudwatch:List*",
                "ec2:Describe*",
                "support:*",
                "tag:GetResources",
                "tag:GetTagKeys",
                "tag:GetTagValues"
            ],
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "acm:DescribeCertificate",
                "acm:ListCertificates",
                "cloudfront:GetDistribution",
                "cloudfront:ListDistributions",
                "cloudtrail:DescribeTrails",
                "cloudtrail:GetEventSelectors",
                "cloudtrail:GetTrailStatus",
                "config:DescribeConfigurationRecorderStatus",
                "config:DescribeConfigurationRecorders",
                "iam:GenerateCredentialReport",
                "iam:GetAccountPasswordPolicy",
                "iam:GetAccountSummary",
                "iam:GetCredentialReport",
                "iam:GetLoginProfile",
                "iam:GetPolicyVersion",
                "iam:ListAttachedUserPolicies",
                "iam:ListEntitiesForPolicy",
                "iam:ListMFADevices",
                "iam:ListPolicies",
                "iam:ListRoles",
                "iam:ListServerCertificates",
                "iam:ListUserPolicies",
                "iam:ListUsers",
                "iam:ListVirtualMFADevices",
                "kms:GetKeyPolicy",
                "kms:GetKeyRotationStatus",
                "kms:ListAliases",
                "kms:ListKeys",
                "lambda:GetPolicy",
                "lambda:ListFunctions",
                "redshift:DescribeClusterParameterGroups",
                "redshift:DescribeClusterParameters",
                "redshift:DescribeLoggingStatus",
                "rds:DescribeDBSecurityGroups",
                "rds:DescribeDBSnapshotAttributes",
                "rds:DescribeDBSnapshots",
                "s3:GetBucketAcl",
                "s3:GetBucketLogging",
                "s3:GetBucketPolicy",
                "s3:GetBucketPolicyStatus",
                "s3:GetBucketPublicAccessBlock",
                "s3:GetBucketVersioning",
                "s3:GetEncryptionConfiguration",
                "sns:GetSubscriptionAttributes",
                "sns:GetTopicAttributes",
                "sns:ListSubscriptions",
                "sns:ListTopics",
                "sqs:GetQueueAttributes",
                "sqs:ListQueues"
            ],
            "Resource": "*"
        }
    ]
}

Collecte de logs

Il existe deux façons d’envoyer des logs de service AWS à Datadog :

• Destination Kinesis Firehose : utilisez la destination Datadog dans votre flux de diffusion Kinesis Firehose pour transmettre vos logs à Datadog. Nous vous recommandons de procéder de la même façon pour envoyer un volume très élevé de logs depuis CloudWatch.
• Fonction Lambda du Forwarder : déployez la fonction Lambda du Forwarder Datadog qui s’abonne aux compartiments S3 ou à vos groupes de logs CloudWatch. Transmettez ensuite vos logs à Datadog. Vous devez procéder de cette façon pour envoyer de façon asynchrone des traces, des métriques optimisées ou des métriques custom depuis vos fonctions Lambda via des logs. Datadog vous conseille également d’utiliser cette méthode pour envoyer des logs depuis S3 ou depuis d’autres ressources ne prenant pas en charge la diffusion de données vers Kinesis.

Collecte de métriques

Il existe deux façons d’envoyer des métriques AWS à Datadog :

• Interrogation des métriques : l’intégration AWS contient une fonctionnalité d’interrogation d’API, qui effectue une analyse métrique par métrique de l’API CloudWatch afin d’extraire les données à envoyer à Datadog. De nouvelles métriques sont extraites toutes les 10 minutes en moyenne.
• Flux de métriques avec Kinesis Firehose : vous pouvez utiliser Amazon CloudWatch Metric Streams et Amazon Kinesis Data Firehose pour afficher vos métriques avec une latence de deux à trois minutes. Cela requiert une configuration distincte.

Collecte de ressources

Les produits répertoriés ci-dessous requièrent des métadonnées et des informations de configuration sur des ressources AWS. Pour récupérer ces informations, notamment sur les compartiments S3, les snapshots RDS et les distributions CloudFront (voir la liste complète des ressources et autorisations), Datadog effectue des appels d’API vers votre compte AWS.

Voici la liste des produits nécessitant la collecte de ressources :

• Cloud Security Posture Management

Configuration :

1. Si vous n’avez pas encore configuré l’intégration AWS pour votre compte AWS, suivez les étapes requises ci-dessus, et prenez soin d’activer la collecte de ressources lorsque vous y êtes invité.
2. Si vous avez déjà configuré l’intégration AWS pour d’autres produits Datadog, mais que vous n’avez pas encore activé la collecte de ressources, suivez l’une des procédures suivantes :
   1. Méthode automatique (recommandée) - Mise à jour de votre modèle CloudFormation
      1. Dans la console CloudFormation, repérez la pile principale que vous avez utilisée pour installer l’intégration Datadog, puis sélectionnez Update.
      2. Sélectionnez Replace current template.
      3. Sélectionnez Amazon S3 URL, saisissez https://datadog-cloudformation-template.s3.amazonaws.com/aws/main.yaml, puis cliquez sur next.
      4. Définissez l’option ResourceCollectionPermissions sur true, puis cliquez sur next sans modifier d’autres paramètres jusqu’à atteindre la page Review, qui vous permet de vérifier l’ensemble des changements prévus.
      5. Cochez les deux cases d’acceptation en bas de la page et cliquez sur Update stack.
   2. Méthode manuelle
      1. Créez une nouvelle stratégie DatadogAWSResourceCollectionPolicy dans votre compte AWS, en lui accordant ces autorisations.
      2. Ajoutez cette nouvelle stratégie au rôle Datadog de votre compte.
3. Accédez au carré d’intégration AWS dans Datadog, puis effectuez les opérations suivantes :
   1. Cliquez sur le compte AWS pour lequel vous souhaitez activer la collecte de ressources.
   2. Accédez à la section Resource configuration collection de ce compte, puis cochez la case Enable resource configuration collection.
   3. En bas à gauche du carré, cliquez sur Update Configuration.

Données collectées

Métriques

Événements

Vous pouvez configurer la collecte d’événements AWS pour chaque service AWS. Consultez la documentation des différents services AWS pour en savoir plus sur la collecte d’événements.

Tags

Les tags suivants sont recueillis à partir des intégrations AWS. Remarque : certains tags s’affichent uniquement pour des métriques spécifiques.

Dépannage

Écart entre vos données dans CloudWatch et Datadog

Il est important de tenir compte des deux distinctions suivantes :

1. Pour les counters AWS, un graphique défini sur « sum » « 1minute » affiche le nombre total d’occurrences en l’espace d’une minute, soit le taux par minute. Datadog affiche les données brutes à partir des valeurs AWS normalisées par seconde, peu importe l’intervalle sélectionné dans AWS. Cela explique pourquoi la valeur affichée dans Datadog peut être plus faible.
2. Les valeurs minimales, maximales et moyennes n’ont généralement pas la même signification dans AWS et dans Datadog. Dans AWS, les latences moyenne, minimale et maximale correspondent à trois métriques distinctes recueillies. Lorsque Datadog récupère des métriques à partir d’AWS CloudWatch, la latence moyenne est transmise sous la forme de séries temporelles distinctes par ELB. Dans Datadog, lorsque vous sélectionnez les valeurs « min », « max » ou « avg », vous définissez les critères de rassemblement de séries temporelles. Par exemple, si vous cherchez à obtenir system.cpu.idle sans appliquer de filtre, une série est envoyée pour chaque host qui renvoie cette métrique. Ces séries doivent être combinées pour être représentées graphiquement. À l’inverse, si vous cherchez à obtenir system.cpu.idle pour un seul host, aucune agrégation n’est nécessaire. Les valeurs maximale et moyenne sont identiques.

Métriques en retard

Lorsque vous utilisez l’intégration AWS, Datadog récupère vos métriques via l’API CloudWatch. Il est possible que les données des métriques AWS accusent un léger retard, en raison des contraintes liées à l’API.

Pour commencer, l’API CloudWatch propose uniquement une analyse métrique par métrique afin d’extraire des données. Les API CloudWatch prévoient une limite de débit qui varie en fonction des informations d’authentification, de la région et du service. Les métriques sont transmises par AWS en fonction du niveau du compte. Par exemple, si vous payez pour des « métriques détaillées » dans AWS, vous y avez accès plus rapidement. Ce niveau de service pour les métriques détaillées s’applique également à la granularité. Ainsi, certaines métriques sont transmises toutes les minutes, tandis que d’autres sont envoyées toutes les cinq minutes.

Datadog vous permet de hiérarchiser certaines métriques d’un compte afin de les récupérer en priorité, en fonction de certaines circonstances. Contactez l’assistance Datadog pour en savoir plus.

Pour obtenir des métriques quasiment en temps réel, installez l’Agent Datadog sur le host. Pour en savoir plus, consultez l’article de blog de Datadog Tout ce que vous devez savoir pour effectuer une surveillance à partir d’Agents (en anglais).

Métriques manquantes

L’API CloudWatch renvoie uniquement les métriques avec des points de données. Ainsi, si un ELB ne possède aucune instance liée, aucune métrique associée à cet ELB n’apparaît dans Datadog.

Nombre aws.elb.healthy_host_count incorrect

Lorsque l’option d’équilibrage des charges entre zones est activée sur un ELB, toutes les instances liées à cet ELB font partie de toutes les zones de disponibilité (pour CloudWatch). Ainsi, si vous possédez deux instances dans 1a et trois dans ab, la métrique affiche cinq instances par zone de disponibilité. Puisque cela peut s’avérer contre-intuitif, nous avons ajouté de nouvelles métriques, aws.elb.healthy_host_count_deduped et aws.elb.un_healthy_host_count_deduped, qui affichent le nombre d’instances saines et non saines par zone de disponibilité, que vous ayez activé ou non l’option d’équilibrage des charges entre zones.

Hosts dupliqués lors de l’installation de l’Agent

Lors de l’installation de l’Agent sur un host AWS, il est possible que des hosts soient dupliqués pendant quelques heures sur la page d’infrastructure si vous avez défini manuellement le hostname dans la configuration de l’Agent. Ces doublons disparaîtront après quelques heures et ne seront pas pris en compte pour la facturation.