Los registros de servicios de AWS se pueden recopilar con la función Lambda Forwarder de Datadog. Esta Lambda—que se activa en los buckets de S3, grupos de registros de CloudWatch y eventos de EventBridge—reenvía registros a Datadog.

Para comenzar a recopilar registros de tus servicios de AWS:

1. Configura la función Lambda Forwarder de Datadog en tu cuenta de AWS.
2. Habilita el registro para tu servicio de AWS (la mayoría de los servicios de AWS pueden registrar en un bucket de S3 o en un grupo de registros de CloudWatch).
3. Configura los disparadores que hacen que la función Lambda Forwarder se ejecute cuando hay nuevos registros que se deben reenviar. Hay dos formas de configurar los disparadores.

Notas:

• Puedes usar AWS PrivateLink para enviar tus registros a través de una conexión privada.
• CloudFormation crea una política IAM que incluye KMS:Decrypt para todos los recursos, y no se alinea con las mejores prácticas de AWS Security Hub. Este permiso se utiliza para descifrar objetos de buckets de S3 cifrados con KMS para configurar la función Lambda, y la clave KMS utilizada para cifrar los buckets de S3 no se puede predecir. Puedes eliminar de forma segura este permiso después de que la instalación finalice con éxito.

Habilita el registro para tu servicio de AWS

Cualquier servicio de AWS que genere registros en un bucket de S3 o en un grupo de registros de CloudWatch es compatible. Encuentra las instrucciones de configuración para los servicios más utilizados en la tabla a continuación:

Configurar disparadores

Hay dos opciones al configurar disparadores en la función Lambda de Datadog Forwarder:

• Automáticamente: Datadog recupera automáticamente las ubicaciones de los registros para los servicios de AWS seleccionados y las agrega como disparadores en la función Lambda de Datadog Forwarder. Datadog también mantiene la lista actualizada.
• Manualmente: Configura cada disparador tú mismo.

Configurar disparadores automáticamente

Datadog puede configurar automáticamente disparadores en la función Lambda de Datadog Forwarder para recopilar registros de AWS. Sin embargo, la suscripción automática no admite la creación de disparadores en diferentes cuentas o regiones de AWS. Para escenarios donde los registros se publican en buckets de S3 en una cuenta separada, recomendamos crear manualmente un disparador en la misma cuenta que el bucket para sortear esta limitación.

Las siguientes fuentes y ubicaciones son compatibles:

Nota: Los filtros de suscripción son creados automáticamente en los grupos de registros de CloudWatch por el DatadogForwarder, y se nombran en el formato DD_LOG_SUBSCRIPTION_FILTER_<LOG_GROUP_NAME>.

1. Si aún no lo has hecho, configura la función Lambda de recopilación de registros de Datadog.

2. Asegúrese de que la política del rol IAM utilizado para la integración de Datadog-AWS tenga los siguientes permisos. La información sobre cómo se utilizan estos permisos se puede encontrar en las descripciones a continuación:

   "airflow:GetEnvironment",
   "airflow:ListEnvironments",
   "appsync:ListGraphqlApis",
   "batch:DescribeJobDefinitions",
   "cloudfront:GetDistributionConfig",
   "cloudfront:ListDistributions",
   "cloudtrail:GetTrail",
   "cloudtrail:ListTrails",
   "codebuild:BatchGetProjects",
   "codebuild:ListProjects",
   "dms:DescribeReplicationInstances",
   "ec2:DescribeFlowLogs",
   "ec2:DescribeVerifiedAccessInstanceLoggingConfigurations",
   "ec2:DescribeVpnConnections",
   "ecs:DescribeTaskDefinition",
   "ecs:ListTaskDefinitionFamilies",
   "eks:DescribeCluster",
   "eks:ListClusters",
   "elasticloadbalancing:DescribeLoadBalancerAttributes",
   "elasticloadbalancing:DescribeLoadBalancers",
   "glue:BatchGetJobs",
   "glue:GetJobs",
   "glue:GetJob",
   "glue:ListJobs",
   "iot:GetV2LoggingOptions",
   "lambda:GetPolicy",
   "lambda:InvokeFunction",
   "lambda:List*",
   "logs:DeleteSubscriptionFilter",
   "logs:DescribeDeliveries",
   "logs:DescribeDeliverySources",
   "logs:DescribeLogGroups",
   "logs:DescribeSubscriptionFilters",
   "logs:GetDeliveryDestination",
   "logs:PutSubscriptionFilter",
   "network-firewall:DescribeLoggingConfiguration",
   "network-firewall:ListFirewalls",
   "rds:DescribeDBClusters",
   "rds:DescribeDBInstances",
   "redshift-serverless:ListNamespaces",
   "redshift:DescribeClusters",
   "redshift:DescribeLoggingStatus",
   "route53:ListQueryLoggingConfigs",
   "route53resolver:ListResolverQueryLogConfigs",
   "s3:GetBucketLocation",
   "s3:GetBucketLogging",
   "s3:GetBucketNotification",
   "s3:ListAllMyBuckets",
   "s3:PutBucketNotification",
   "ssm:GetServiceSetting",
   "ssm:ListCommands",
   "states:DescribeStateMachine",
   "states:ListStateMachines",
   "wafv2:ListLoggingConfigurations"
   

   AWS Permission	Description
   airflow:ListEnvironments	List all MWAA environment names.
   airflow:GetEnvironment	Get information about a MWAA environment.
   appsync:ListGraphqlApis	List all GraphQL Apis.
   batch:DescribeJobDefinitions	List all Batch job definitions.
   cloudfront:GetDistributionConfig	Get the name of the S3 bucket containing CloudFront access logs.
   cloudfront:ListDistributions	List all CloudFront distributions.
   cloudtrail:GetTrail	Get Trail logging information.
   cloudtrail:ListTrails	List all Cloudtrail trails.
   codebuild:BatchGetProjects	List all CodeBuild projects.
   codebuild:ListProjects	Get information on CodeBuild projects.
   dms:DescribeReplicationInstances	List all replication instances for DMS.
   ec2:DescribeFlowLogs	List all Flow log configurations.
   ec2:DescribeVerifiedAccessInstanceLoggingConfigurations	List all Verified Access instance logging configurations.
   ec2:DescribeVpnConnections	List all VPN connections.
   ecs:DescribeTaskDefinition	Describe ECS task definition.
   ecs:ListTaskDefinitionFamilies	List all task definition families.
   elasticloadbalancing: DescribeLoadBalancers	List all load balancers.
   elasticloadbalancing: DescribeLoadBalancerAttributes	Get the name of the S3 bucket containing ELB access logs.
   glue:BatchGetJobs	Get information about multiple Glue jobs.
   glue:GetJob	Get information about a Glue job.
   glue:GetJobs	List all Glue jobs.
   glue:ListJobs	List all Glue job names.
   eks:DescribeCluster	Describe an EKS cluster.
   eks:ListClusters	List all EKS clusters.
   iot:GetV2LoggingOptions	Get IoT V2 logging options.
   lambda:InvokeFunction	Invoke a Lambda function.
   lambda:List*	List all Lambda functions.
   lambda:GetPolicy	Get the Lambda policy when triggers are to be removed.
   logs:PutSubscriptionFilter	Add a Lambda trigger based on CloudWatch Log events.
   logs:DeleteSubscriptionFilter	Remove a Lambda trigger based on CloudWatch Log events.
   logs:DescribeLogGroups	Describe CloudWatch log groups.
   logs:DescribeDeliveries	Describe CloudWatch log deliveries.
   logs:DescribeDeliverySources	Describe CloudWatch log delivery sources.
   logs:DescribeSubscriptionFilters	List the subscription filters for the specified log group.
   logs:GetDeliveryDestination	Get a CloudWatch log delivery destination.
   network-firewall:DescribeLoggingConfiguration	Get the logging configuration of a firewall.
   network-firewall:ListFirewalls	List all Network Firewall firewalls.
   rds:DescribeDBClusters	List all RDS clusters.
   rds:DescribeDBInstances	List all RDS instances.
   redshift:DescribeClusters	List all Redshift clusters.
   redshift:DescribeLoggingStatus	Get the name of the S3 bucket containing Redshift Logs.
   redshift-serverless:ListNamespaces	List all Redshift Serverless namespaces.
   route53:ListQueryLoggingConfigs	List all DNS query logging configurations for Route 53.
   route53resolver:ListResolverQueryLogConfigs	List all Resolver query logging configurations for Route 53.
   s3:GetBucketLogging	Get the name of the S3 bucket containing S3 access logs.
   s3:GetBucketLocation	Get the region of the S3 bucket containing S3 access logs.
   s3:GetBucketNotification	Get existing Lambda trigger configurations.
   s3:ListAllMyBuckets	List all S3 buckets.
   s3:PutBucketNotification	Add or remove a Lambda trigger based on S3 bucket events.
   ssm:GetServiceSetting	Get the SSM service setting for customer script log group name.
   ssm:ListCommands	List all SSM commands.
   states:ListStateMachines	List all Step Functions.
   states:DescribeStateMachine	Get logging details about a Step Function.
   wafv2:ListLoggingConfigurations	List all logging configurations of the Web Application Firewall.

3. En la página de integración de AWS, selecciona la cuenta de AWS de la que deseas recopilar registros y haz clic en la pestaña Recopilación de registros.

4. En la sección Datadog Forwarder Lambda, ingresa el ARN de la Lambda creada en la sección anterior y haz clic en Agregar. La función Lambda aparece en la tabla a continuación con su nombre, versión y región.

5. En la sección Autosuscripción de registros, bajo Fuentes de registros, habilita los servicios de los cuales deseas recopilar registros activándolos. Para dejar de recopilar registros de un servicio en particular, desactiva la fuente de registro.

6. (Opcional) En la sección Filtros de etiquetas de fuente de registro, puedes filtrar la recopilación de registros por etiquetas de recursos para cada fuente de registro. Selecciona una fuente de registro del menú desplegable y agrega etiquetas en el formato key:value para limitar qué registros de recursos se recopilan. Nota: Las etiquetas de recursos se convierten automáticamente a minúsculas para coincidir con las convenciones de la plataforma de Datadog. Define tus filtros de etiquetas en minúsculas para evitar desajustes.

7. Si tienes registros en múltiples regiones, debes crear funciones Lambda adicionales en esas regiones y agregarlas en la sección Datadog Forwarder Lambda.

8. Para dejar de recopilar todos los registros de AWS de una función Lambda específica, pasa el cursor sobre la Lambda en la tabla y haz clic en el ícono de eliminar. Se eliminan todos los disparadores para esa función.

9. Dentro de unos minutos después de esta configuración inicial, tus registros de AWS aparecerán en el Explorador de Registros de Datadog.

Configura los disparadores manualmente

Recopilando registros del grupo de registros de CloudWatch

Si estás recopilando registros de un grupo de registros de CloudWatch, configura el disparador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:

data "aws_cloudwatch_log_group" "some_log_group" {
  name = "/some/log/group"
}

resource "aws_lambda_permission" "lambda_permission" {
  action        = "lambda:InvokeFunction"
  function_name = "datadog-forwarder" # this is the default but may be different in your case
  principal     = "logs.amazonaws.com" # or logs.amazonaws.com.cn for China*
  source_arn    = data.aws_cloudwatch_log_group.some_log_group.arn
}

resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
  name            = "datadog_log_subscription_filter"
  log_group_name  = <CLOUDWATCH_LOG_GROUP_NAME> # for example, /some/log/group
  destination_arn = <DATADOG_FORWARDER_ARN> # for example,  arn:aws:lambda:us-east-1:123:function:datadog-forwarder
  filter_pattern  = ""
}

Resources:
  MyLogSubscriptionFilter:
    Type: "AWS::Logs::SubscriptionFilter"
    Properties:
      DestinationArn: "<DATADOG_FORWARDER_ARN>"
      LogGroupName: "<CLOUDWATCH_LOG_GROUP_NAME>"
      FilterPattern: ""

Recopilando registros de buckets S3

Si estás recolectando registros de un bucket S3, configura el disparador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:

resource "aws_s3_bucket_notification" "my_bucket_notification" {
  bucket = my_bucket
  lambda_function {
    lambda_function_arn = "<DATADOG_FORWARDER_ARN>"
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }
}

Resources:
  Bucket:
    Type: AWS::S3::Bucket
    Properties:
      BucketName: "<MY_BUCKET>"
      NotificationConfiguration:
        LambdaConfigurations:
        - Event: 's3:ObjectCreated:*'
          Function: "<DATADOG_FORWARDER_ARN>"

Limpieza y filtrado

Puedes limpiar correos electrónicos o direcciones IP de los registros enviados por la función Lambda, o definir una regla de limpieza personalizada en los parámetros de Lambda. También puedes excluir o enviar solo aquellos registros que coincidan con un patrón específico utilizando la opción de filtrado.

Lectura adicional

Más enlaces, artículos y documentación útiles:

Aprende a explorar tus registrosDOCUMENTACIÓN Realizar análisis de registrosDOCUMENTACIÓN Aprende a procesar tus registrosDOCUMENTACIÓN Cómo enviar registros a Datadog mientras reduces las tarifas de transferencia de datosGUÍA Enviar registros de AWSCENTRO DE APRENDIZAJE