Les journaux des services AWS peuvent être collectés à l’aide de la fonction Lambda Datadog Forwarder. Cette Lambda—qui se déclenche sur les buckets S3, les groupes de journaux CloudWatch et les événements EventBridge—transmet les journaux à Datadog.

Pour commencer à recueillir des logs à partir de vos services AWS :

1. Configurez la fonction Lambda Datadog Forwarder dans votre compte AWS.
2. Activez la journalisation pour votre service AWS (la plupart des services AWS peuvent enregistrer dans un bucket S3 ou un groupe de journaux CloudWatch).
3. Configurez les déclencheurs qui provoquent l’exécution de la fonction Lambda Forwarder lorsqu’il y a de nouveaux journaux à transmettre. Il existe deux façons de configurer les déclencheurs.

Remarques :

• Vous pouvez utiliser AWS PrivateLink pour envoyer vos journaux via une connexion privée.
• CloudFormation crée une politique IAM qui inclut KMS:Decrypt pour toutes les ressources et qui n’est pas conforme aux meilleures pratiques d’AWS Security Hub. Cette autorisation est utilisée pour déchiffrer des objets provenant de buckets S3 chiffrés par KMS afin de configurer la fonction Lambda, et la clé KMS utilisée pour chiffrer les buckets S3 ne peut pas être prédite. Vous pouvez supprimer en toute sécurité cette autorisation après la fin réussie de l’installation.

Activez la journalisation pour votre service AWS

Tout service AWS qui génère des journaux dans un bucket S3 ou un groupe de journaux CloudWatch est pris en charge. Trouvez les instructions de configuration pour les services les plus utilisés dans le tableau ci-dessous :

Configurez des déclencheurs

Il existe deux méthodes de configuration des déclencheurs sur la fonction Lambda du Forwarder Datadog :

• Automatiquement : Datadog récupère automatiquement les emplacements des journaux pour les services AWS sélectionnés et les ajoute en tant que déclencheurs sur la fonction Lambda Datadog Forwarder. Datadog maintient également la liste à jour.
• Manuellement : Configurez chaque déclencheur vous-même.

Configurez automatiquement des déclencheurs

Datadog peut configurer automatiquement des déclencheurs sur la fonction Lambda Datadog Forwarder pour collecter les journaux AWS. Cependant, l’abonnement automatique ne prend pas en charge la création de déclencheurs sur différents comptes ou régions AWS. Pour les scénarios où les journaux sont publiés dans des compartiments S3 dans un compte séparé, nous recommandons de créer manuellement un déclencheur dans le même compte que le compartiment pour contourner cette limitation.

Les sources et emplacements suivants sont pris en charge :

Remarque : Subscription filters sont créés automatiquement sur les groupes de journaux CloudWatch par le DatadogForwarder, et sont nommés au format DD_LOG_SUBSCRIPTION_FILTER_<LOG_GROUP_NAME>.

1. Si vous ne l’avez pas déjà fait, configurez la Datadog log collection AWS Lambda function.

2. Assurez-vous que la politique du rôle IAM utilisé pour Datadog-AWS integration dispose des autorisations suivantes. Des informations sur l’utilisation de ces permissions peuvent être trouvées dans les descriptions ci-dessous :

   "airflow:GetEnvironment",
   "airflow:ListEnvironments",
   "appsync:ListGraphqlApis",
   "batch:DescribeJobDefinitions",
   "cloudfront:GetDistributionConfig",
   "cloudfront:ListDistributions",
   "cloudtrail:GetTrail",
   "cloudtrail:ListTrails",
   "codebuild:BatchGetProjects",
   "codebuild:ListProjects",
   "dms:DescribeReplicationInstances",
   "ec2:DescribeFlowLogs",
   "ec2:DescribeVerifiedAccessInstanceLoggingConfigurations",
   "ec2:DescribeVpnConnections",
   "ecs:DescribeTaskDefinition",
   "ecs:ListTaskDefinitionFamilies",
   "eks:DescribeCluster",
   "eks:ListClusters",
   "elasticloadbalancing:DescribeLoadBalancerAttributes",
   "elasticloadbalancing:DescribeLoadBalancers",
   "glue:BatchGetJobs",
   "glue:GetJobs",
   "glue:GetJob",
   "glue:ListJobs",
   "iot:GetV2LoggingOptions",
   "lambda:GetPolicy",
   "lambda:InvokeFunction",
   "lambda:List*",
   "logs:DeleteSubscriptionFilter",
   "logs:DescribeDeliveries",
   "logs:DescribeDeliverySources",
   "logs:DescribeLogGroups",
   "logs:DescribeSubscriptionFilters",
   "logs:GetDeliveryDestination",
   "logs:PutSubscriptionFilter",
   "network-firewall:DescribeLoggingConfiguration",
   "network-firewall:ListFirewalls",
   "rds:DescribeDBClusters",
   "rds:DescribeDBInstances",
   "redshift-serverless:ListNamespaces",
   "redshift:DescribeClusters",
   "redshift:DescribeLoggingStatus",
   "route53:ListQueryLoggingConfigs",
   "route53resolver:ListResolverQueryLogConfigs",
   "s3:GetBucketLocation",
   "s3:GetBucketLogging",
   "s3:GetBucketNotification",
   "s3:ListAllMyBuckets",
   "s3:PutBucketNotification",
   "ssm:GetServiceSetting",
   "ssm:ListCommands",
   "states:DescribeStateMachine",
   "states:ListStateMachines",
   "wafv2:ListLoggingConfigurations"
   

   AWS Permission	Description
   airflow:ListEnvironments	List all MWAA environment names.
   airflow:GetEnvironment	Get information about a MWAA environment.
   appsync:ListGraphqlApis	List all GraphQL Apis.
   batch:DescribeJobDefinitions	List all Batch job definitions.
   cloudfront:GetDistributionConfig	Get the name of the S3 bucket containing CloudFront access logs.
   cloudfront:ListDistributions	List all CloudFront distributions.
   cloudtrail:GetTrail	Get Trail logging information.
   cloudtrail:ListTrails	List all Cloudtrail trails.
   codebuild:BatchGetProjects	List all CodeBuild projects.
   codebuild:ListProjects	Get information on CodeBuild projects.
   dms:DescribeReplicationInstances	List all replication instances for DMS.
   ec2:DescribeFlowLogs	List all Flow log configurations.
   ec2:DescribeVerifiedAccessInstanceLoggingConfigurations	List all Verified Access instance logging configurations.
   ec2:DescribeVpnConnections	List all VPN connections.
   ecs:DescribeTaskDefinition	Describe ECS task definition.
   ecs:ListTaskDefinitionFamilies	List all task definition families.
   elasticloadbalancing: DescribeLoadBalancers	List all load balancers.
   elasticloadbalancing: DescribeLoadBalancerAttributes	Get the name of the S3 bucket containing ELB access logs.
   glue:BatchGetJobs	Get information about multiple Glue jobs.
   glue:GetJob	Get information about a Glue job.
   glue:GetJobs	List all Glue jobs.
   glue:ListJobs	List all Glue job names.
   eks:DescribeCluster	Describe an EKS cluster.
   eks:ListClusters	List all EKS clusters.
   iot:GetV2LoggingOptions	Get IoT V2 logging options.
   lambda:InvokeFunction	Invoke a Lambda function.
   lambda:List*	List all Lambda functions.
   lambda:GetPolicy	Get the Lambda policy when triggers are to be removed.
   logs:PutSubscriptionFilter	Add a Lambda trigger based on CloudWatch Log events.
   logs:DeleteSubscriptionFilter	Remove a Lambda trigger based on CloudWatch Log events.
   logs:DescribeLogGroups	Describe CloudWatch log groups.
   logs:DescribeDeliveries	Describe CloudWatch log deliveries.
   logs:DescribeDeliverySources	Describe CloudWatch log delivery sources.
   logs:DescribeSubscriptionFilters	List the subscription filters for the specified log group.
   logs:GetDeliveryDestination	Get a CloudWatch log delivery destination.
   network-firewall:DescribeLoggingConfiguration	Get the logging configuration of a firewall.
   network-firewall:ListFirewalls	List all Network Firewall firewalls.
   rds:DescribeDBClusters	List all RDS clusters.
   rds:DescribeDBInstances	List all RDS instances.
   redshift:DescribeClusters	List all Redshift clusters.
   redshift:DescribeLoggingStatus	Get the name of the S3 bucket containing Redshift Logs.
   redshift-serverless:ListNamespaces	List all Redshift Serverless namespaces.
   route53:ListQueryLoggingConfigs	List all DNS query logging configurations for Route 53.
   route53resolver:ListResolverQueryLogConfigs	List all Resolver query logging configurations for Route 53.
   s3:GetBucketLogging	Get the name of the S3 bucket containing S3 access logs.
   s3:GetBucketLocation	Get the region of the S3 bucket containing S3 access logs.
   s3:GetBucketNotification	Get existing Lambda trigger configurations.
   s3:ListAllMyBuckets	List all S3 buckets.
   s3:PutBucketNotification	Add or remove a Lambda trigger based on S3 bucket events.
   ssm:GetServiceSetting	Get the SSM service setting for customer script log group name.
   ssm:ListCommands	List all SSM commands.
   states:ListStateMachines	List all Step Functions.
   states:DescribeStateMachine	Get logging details about a Step Function.
   wafv2:ListLoggingConfigurations	List all logging configurations of the Web Application Firewall.

3. Sur la page d’intégration AWS, sélectionnez le compte AWS à partir duquel collecter les journaux et cliquez sur l’onglet Collecte de journaux.

4. Dans la section Datadog Forwarder Lambda, entrez l’ARN de la Lambda créée dans la section précédente et cliquez sur Ajouter. La fonction Lambda apparaît dans le tableau ci-dessous avec son nom, sa version et sa région.

5. Dans la section Log Autosubscription, sous Log Sources, activez les services dont vous souhaitez collecter les journaux en les activant. Pour arrêter la collecte des journaux d’un service particulier, désactivez la source de journaux correspondante.

6. (Optionnel) Dans la section Log Source Tag Filters, vous pouvez filtrer la collecte des journaux par balises de ressources pour chaque source de journal. Sélectionnez une source de journal dans le menu déroulant et ajoutez des balises au format key:value pour limiter la collecte des journaux aux ressources concernées. Remarque : Les balises de ressources sont automatiquement mises en minuscules pour correspondre aux conventions de la plateforme Datadog. Définissez vos filtres de balises en minuscules pour éviter les incohérences.

7. Si vous avez des journaux dans plusieurs régions, vous devez créer des fonctions Lambda supplémentaires dans ces régions et les ajouter dans la section Datadog Forwarder Lambda.

8. Pour arrêter la collecte de tous les journaux AWS d’une fonction Lambda spécifique, survolez la Lambda dans le tableau et cliquez sur l’icône de suppression. Tous les déclencheurs pour cette fonction sont supprimés.

9. Dans les quelques minutes suivant cette configuration initiale, vos journaux AWS apparaissent dans le Log Explorer de Datadog.

Configurez manuellement les déclencheurs

Collecte des journaux du groupe de journaux CloudWatch

Si vous recueillez des logs depuis un groupe de logs CloudWatch, configurez le déclencheur entraînant l’exécution de la fonction Lambda du Forwarder Datadog à l’aide de l’une des méthodes suivantes :

data "aws_cloudwatch_log_group" "some_log_group" {
  name = "/some/log/group"
}

resource "aws_lambda_permission" "lambda_permission" {
  action        = "lambda:InvokeFunction"
  function_name = "datadog-forwarder" # this is the default but may be different in your case
  principal     = "logs.amazonaws.com" # or logs.amazonaws.com.cn for China*
  source_arn    = data.aws_cloudwatch_log_group.some_log_group.arn
}

resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
  name            = "datadog_log_subscription_filter"
  log_group_name  = <CLOUDWATCH_LOG_GROUP_NAME> # for example, /some/log/group
  destination_arn = <DATADOG_FORWARDER_ARN> # for example,  arn:aws:lambda:us-east-1:123:function:datadog-forwarder
  filter_pattern  = ""
}

Resources:
  MyLogSubscriptionFilter:
    Type: "AWS::Logs::SubscriptionFilter"
    Properties:
      DestinationArn: "<DATADOG_FORWARDER_ARN>"
      LogGroupName: "<CLOUDWATCH_LOG_GROUP_NAME>"
      FilterPattern: ""

Collecte des journaux à partir des buckets S3

Si vous recueillez des logs depuis un compartiment S3, configurez le déclencheur entraînant l’exécution de la fonction Lambda du Forwarder Datadog à l’aide de l’une des méthodes suivantes :

resource "aws_s3_bucket_notification" "my_bucket_notification" {
  bucket = my_bucket
  lambda_function {
    lambda_function_arn = "<DATADOG_FORWARDER_ARN>"
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }
}

Resources:
  Bucket:
    Type: AWS::S3::Bucket
    Properties:
      BucketName: "<MY_BUCKET>"
      NotificationConfiguration:
        LambdaConfigurations:
        - Event: 's3:ObjectCreated:*'
          Function: "<DATADOG_FORWARDER_ARN>"

Nettoyage et filtrage

Vous pouvez nettoyer les e-mails ou les adresses IP des journaux envoyés par la fonction Lambda, ou définir une règle de nettoyage personnalisée dans les paramètres Lambda. Vous pouvez également exclure ou envoyer uniquement les journaux qui correspondent à un modèle spécifique en utilisant le filtering option.

Lectures complémentaires

Documentation, liens et articles supplémentaires utiles:

Apprendre à explorer vos logsDOCUMENTATION Effectuer des analyses de logsDOCUMENTATION Apprendre à traiter vos logsDOCUMENTATION Comment envoyer des journaux à Datadog tout en réduisant les frais de transfert de donnéesGUIDE Envoyer des journaux AWSCENTRE D'APPRENTISSAGE