Enviar registros de servicios de AWS con la función Lambda de Datadog

Los registros de servicios de AWS se pueden recopilar con la función Lambda Datadog Forwarder. Esta Lambda, que se activa en buckets de S3, grupos de registros de CloudWatch y eventos de EventBridge, envía registros a Datadog.

Para comenzar a recopilar registros de sus servicios de AWS:

  1. Configure la función Lambda Datadog Forwarder en su cuenta de AWS.
  2. Habilite el registro para su servicio de AWS. Busque su servicio en Servicios de AWS compatibles para ver sus instrucciones de configuración. La mayoría de los servicios de AWS pueden registrar en un bucket de S3 o en un grupo de registros de CloudWatch.
  3. Configure los activadores que hacen que la función Lambda Datadog Forwarder se ejecute cuando hay nuevos registros para enviar. Hay dos formas de configurar los activadores.

Notas:

  • Puede usar AWS PrivateLink para enviar sus registros a través de una conexión privada.
  • CloudFormation crea una política de IAM que incluye KMS:Decrypt para todos los recursos, y no se alinea con las mejores prácticas de AWS Security Hub. Este permiso se utiliza para descifrar objetos de buckets de S3 cifrados con KMS para configurar la función Lambda, y la clave KMS utilizada para cifrar los buckets de S3 no se puede predecir. Puede eliminar este permiso de forma segura después de que la instalación finalice correctamente.

Servicios de AWS compatibles

La función Lambda Datadog Forwarder admite cualquier servicio de AWS que genere registros en un bucket de S3 o en un grupo de registros de CloudWatch. La siguiente tabla enumera los servicios que puede recopilar:

  • Servicio de AWS: El servicio de AWS que genera los registros. Cada nombre de servicio enlaza a sus instrucciones de configuración de recolección de registros. Los servicios sin un enlace no requieren configuración del lado del servicio.
  • Fuente de registro: La etiqueta source que Datadog aplica a los registros. Úsela para encontrar sus registros en el Log Explorer.
  • Almacenamiento: Dónde puede escribir registros el servicio de AWS que el Datadog Forwarder recopila.
  • Recolección automática: Si Datadog puede configurar automáticamente los activadores para esa fuente de registro. Si no, configure los activadores manualmente.
Servicio de AWSFuente de registroAlmacenamientoRecolección automática
API Gatewaysource:apigatewayCloudWatch, S3Sí
AppSyncsource:appsyncCloudWatchSí
Batchsource:batchCloudWatchSí
Bedrocksource:bedrockCloudWatch, S3No
Bedrock Agentcoresource:bedrock-agentcoreCloudWatch, S3Sí
CloudFrontsource:cloudfrontCloudWatch, S3Sí
CloudTrailsource:cloudtrailCloudWatch, S3Sí
CodeBuildsource:codebuildCloudWatch, S3Sí
DMSsource:dmsCloudWatch, S3Sí
DocumentDBsource:docdbCloudWatch, S3Sí
ECSsource:ecsCloudWatchSí
EKSsource:eks 1CloudWatchSí
Elastic Beanstalk- 2CloudWatchSí
Elastic Load Balancing (ELB)source:elbCloudWatch, S3Sí
FSxsource:aws.fsxCloudWatch, S3No
Gluesource:glueCloudWatch, S3Sí
IoTsource:iotCloudWatchParcial 3
Lambdasource:lambdaCloudWatchSí
Lambda@Edgesource:lambdaCloudWatchSí
Lambda MicroVMssource:lambdaCloudWatchSí
MWAAsource:mwaaCloudWatchSí
Network Firewallsource:network-firewallCloudWatch, S3Sí
OpenSearchsource:opensearchCloudWatchNo
PCS- 2CloudWatchParcial 4
RDSsource:rds 5CloudWatchSí
Redshiftsource:redshiftCloudWatch, S3Sí
Redshift Serverlesssource:redshift-serverlessCloudWatchSí
Route 53source:route53 6CloudWatchSí
S3source:s3S3Sí
SSMsource:ssmCloudWatchSí
Step Functionssource:stepfunctionCloudWatchSí
Transit Gatewaysource:transitgatewayCloudWatch, S3No
Verified Accesssource:verified-accessCloudWatch, S3Sí
VPCsource:vpcCloudWatch, S3Sí
VPN- 2CloudWatch, S3Sí 7
Web Application Firewallsource:wafS3Sí

1 Los registros del plano de control de EKS también utilizan las fuentes kubernetes.audit, kube-scheduler, kube-apiserver, kube-controller-manager y aws-iam-authenticator.
2 Datadog no aplica una etiqueta de fuente específica del servicio a estos registros.
3 La recopilación automática para IoT solo está disponible a nivel de cuenta.
4 La recopilación automática para PCS solo está disponible para los grupos de registro de CloudWatch.
5 Los registros del motor de RDS también utilizan las fuentes postgresql, mariadb y mysql.
6 Cubre tanto los registros de consultas de DNS como los registros de consultas de Resolver.
7 La recopilación automática está disponible para los grupos de registro de CloudWatch. Para los buckets de S3, establezca el activador manualmente.

Nota: El Datadog Forwarder crea automáticamente filtros de suscripción en los grupos de registro de CloudWatch. Cada filtro se nombra con el formato DD_LOG_SUBSCRIPTION_FILTER_<LOG_GROUP_NAME>.

Servicios recopilados a través de otro método

Los siguientes servicios de AWS son compatibles con la recopilación de registros, pero no utilizan la función Lambda Datadog Forwarder de la misma manera:

Servicio de AWSCómo se recopilan los registros
DynamoDBDynamoDB no genera sus propios registros. La actividad de la API se captura a través de CloudTrail. Consulte Enviar registros a Datadog.
EC2Utilice el Datadog Agent para enviar sus registros a Datadog.
SNSSNS no proporciona registros, pero puede procesar registros y eventos que transitan a través del servicio SNS. Consulte Enviar registros a Datadog.

Configure activadores

Hay dos opciones al configurar activadores en la función Lambda de Datadog Forwarder:

  • Automáticamente: Datadog recupera automáticamente las ubicaciones de los registros para los servicios de AWS seleccionados y los agrega como activadores en la función Lambda de Datadog Forwarder. Datadog también mantiene la lista actualizada.
  • Manualmente: configure cada activador usted mismo.

Configure activadores automáticamente

Datadog puede configurar automáticamente activadores en la función Lambda de Datadog Forwarder para recopilar registros de AWS. Sin embargo, la suscripción automática no admite la creación de activadores en diferentes cuentas o regiones de AWS. Para escenarios donde los registros se publican en buckets de S3 en una cuenta separada, recomendamos crear manualmente un activador en la misma cuenta que el bucket para solucionar esta limitación.

Para ver qué servicios admiten la recopilación automática y las ubicaciones de almacenamiento que admiten, consulte Servicios de AWS admitidos.

  1. Si aún no lo ha hecho, configure la función Lambda de AWS para recopilar registros de Datadog.

  2. Asegúrese de que la política del rol de IAM utilizado para la integración de Datadog-AWS tenga los siguientes permisos. La información sobre cómo se utilizan estos permisos se puede encontrar en las descripciones a continuación:

    "airflow:GetEnvironment",
    "airflow:ListEnvironments",
    "appsync:ListGraphqlApis",
    "batch:DescribeJobDefinitions",
    "cloudfront:GetDistributionConfig",
    "cloudfront:ListDistributions",
    "cloudtrail:GetTrail",
    "cloudtrail:ListTrails",
    "codebuild:BatchGetProjects",
    "codebuild:ListProjects",
    "dms:DescribeReplicationInstances",
    "ec2:DescribeFlowLogs",
    "ec2:DescribeVerifiedAccessInstanceLoggingConfigurations",
    "ec2:DescribeVpnConnections",
    "ecs:DescribeTaskDefinition",
    "ecs:ListTaskDefinitionFamilies",
    "eks:DescribeCluster",
    "eks:ListClusters",
    "elasticbeanstalk:DescribeEnvironments",
    "elasticloadbalancing:DescribeLoadBalancerAttributes",
    "elasticloadbalancing:DescribeLoadBalancers",
    "glue:BatchGetJobs",
    "glue:GetJobs",
    "glue:GetJob",
    "glue:ListJobs",
    "iot:GetV2LoggingOptions",
    "lambda:GetMicrovmImageVersion",
    "lambda:GetPolicy",
    "lambda:InvokeFunction",
    "lambda:List*",
    "logs:DeleteSubscriptionFilter",
    "logs:DescribeDeliveries",
    "logs:DescribeDeliverySources",
    "logs:DescribeLogGroups",
    "logs:DescribeSubscriptionFilters",
    "logs:GetDeliveryDestination",
    "logs:PutSubscriptionFilter",
    "network-firewall:DescribeLoggingConfiguration",
    "network-firewall:ListFirewalls",
    "rds:DescribeDBClusters",
    "rds:DescribeDBInstances",
    "redshift-serverless:ListNamespaces",
    "redshift:DescribeClusters",
    "redshift:DescribeLoggingStatus",
    "route53:ListQueryLoggingConfigs",
    "route53resolver:ListResolverQueryLogConfigs",
    "s3:GetBucketLocation",
    "s3:GetBucketLogging",
    "s3:GetBucketNotification",
    "s3:ListAllMyBuckets",
    "s3:PutBucketNotification",
    "ssm:GetServiceSetting",
    "ssm:ListCommands",
    "states:DescribeStateMachine",
    "states:ListStateMachines",
    "wafv2:ListLoggingConfigurations"
    
    AWS PermissionDescription
    airflow:ListEnvironmentsList all MWAA environment names.
    airflow:GetEnvironmentGet information about a MWAA environment.
    appsync:ListGraphqlApisList all GraphQL Apis.
    batch:DescribeJobDefinitionsList all Batch job definitions.
    cloudfront:GetDistributionConfigGet the name of the S3 bucket containing CloudFront access logs.
    cloudfront:ListDistributionsList all CloudFront distributions.
    cloudtrail:GetTrailGet Trail logging information.
    cloudtrail:ListTrailsList all Cloudtrail trails.
    codebuild:BatchGetProjectsList all CodeBuild projects.
    codebuild:ListProjectsGet information on CodeBuild projects.
    dms:DescribeReplicationInstancesList all replication instances for DMS.
    ec2:DescribeFlowLogsList all Flow log configurations.
    ec2:DescribeVerifiedAccessInstanceLoggingConfigurationsList all Verified Access instance logging configurations.
    ec2:DescribeVpnConnectionsList all VPN connections.
    ecs:DescribeTaskDefinitionDescribe ECS task definition.
    ecs:ListTaskDefinitionFamiliesList all task definition families.
    elasticloadbalancing:
    DescribeLoadBalancers
    List all load balancers.
    elasticloadbalancing:
    DescribeLoadBalancerAttributes
    Get the name of the S3 bucket containing ELB access logs.
    glue:BatchGetJobsGet information about multiple Glue jobs.
    glue:GetJobGet information about a Glue job.
    glue:GetJobsList all Glue jobs.
    glue:ListJobsList all Glue job names.
    eks:DescribeClusterDescribe an EKS cluster.
    eks:ListClustersList all EKS clusters.
    elasticbeanstalk:DescribeEnvironmentsList all Elastic Beanstalk environments.
    iot:GetV2LoggingOptionsGet IoT V2 logging options.
    lambda:InvokeFunctionInvoke a Lambda function.
    lambda:List*List all Lambda functions.
    lambda:GetPolicyGet the Lambda policy when triggers are to be removed.
    lambda:GetMicrovmImageVersionGet information about a Lambda MicroVM image version.
    logs:PutSubscriptionFilterAdd a Lambda trigger based on CloudWatch Log events.
    logs:DeleteSubscriptionFilterRemove a Lambda trigger based on CloudWatch Log events.
    logs:DescribeLogGroupsDescribe CloudWatch log groups.
    logs:DescribeDeliveriesDescribe CloudWatch log deliveries.
    logs:DescribeDeliverySourcesDescribe CloudWatch log delivery sources.
    logs:DescribeSubscriptionFiltersList the subscription filters for the specified log group.
    logs:GetDeliveryDestinationGet a CloudWatch log delivery destination.
    network-firewall:DescribeLoggingConfigurationGet the logging configuration of a firewall.
    network-firewall:ListFirewallsList all Network Firewall firewalls.
    rds:DescribeDBClustersList all RDS clusters.
    rds:DescribeDBInstancesList all RDS instances.
    redshift:DescribeClustersList all Redshift clusters.
    redshift:DescribeLoggingStatusGet the name of the S3 bucket containing Redshift Logs.
    redshift-serverless:ListNamespacesList all Redshift Serverless namespaces.
    route53:ListQueryLoggingConfigsList all DNS query logging configurations for Route 53.
    route53resolver:ListResolverQueryLogConfigsList all Resolver query logging configurations for Route 53.
    s3:GetBucketLoggingGet the name of the S3 bucket containing S3 access logs.
    s3:GetBucketLocationGet the region of the S3 bucket containing S3 access logs.
    s3:GetBucketNotificationGet existing Lambda trigger configurations.
    s3:ListAllMyBucketsList all S3 buckets.
    s3:PutBucketNotificationAdd or remove a Lambda trigger based on S3 bucket events.
    ssm:GetServiceSettingGet the SSM service setting for customer script log group name.
    ssm:ListCommandsList all SSM commands.
    states:ListStateMachinesList all Step Functions.
    states:DescribeStateMachineGet logging details about a Step Function.
    wafv2:ListLoggingConfigurationsList all logging configurations of the Web Application Firewall.
  3. En la página de integración de AWS, seleccione la cuenta de AWS de la que desea recopilar registros y haga clic en la pestaña Log Collection.

  4. En la sección Datadog Forwarder Lambda, ingrese el ARN de la función Lambda creada en la sección anterior y haga clic en Add. La función Lambda aparece en la tabla a continuación con su nombre, versión y región.

  5. En la sección Log Autosubscription, debajo de Log Sources, habilite los servicios de los que desea recopilar registros activándolos. Para dejar de recopilar registros de un servicio en particular, desactive la fuente de registro.

  6. (Opcional) En la sección Log Source Tag Filters, puede filtrar la recopilación de registros por etiquetas de recursos para cada fuente de registro. Seleccione una fuente de registro en el menú desplegable y agregue etiquetas en formato key:value para limitar los registros de qué recursos se recopilan. Nota: Las etiquetas de recursos se convierten automáticamente a minúsculas para coincidir con las convenciones de la plataforma Datadog. Defina sus filtros de etiquetas en minúsculas para evitar discrepancias.

  7. Si tiene registros en varias regiones, debe crear funciones Lambda adicionales en esas regiones y agregarlas en la sección Datadog Forwarder Lambda.

  8. Para dejar de recopilar todos los registros de AWS de una función Lambda específica, coloque el cursor sobre la Lambda en la tabla y haga clic en el icono de eliminar. Se eliminan todos los activadores de esa función.

  9. Unos minutos después de esta configuración inicial, sus registros de AWS aparecerán en el Explorador de registros de Datadog.

Configure manualmente los activadores

Recopilación de registros del grupo de registros de CloudWatch

Si está recopilando registros de un grupo de registros de CloudWatch, configure el activador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:

  1. En la Consola de AWS, vaya a Lambda.
  2. Haga clic en Functions y seleccione Datadog Forwarder.
  3. Haga clic en Add trigger y seleccione CloudWatch Logs.
  4. Seleccione el grupo de registros en el menú desplegable.
  5. Ingrese un nombre para su filtro y, opcionalmente, especifique un patrón de filtro.
  6. Haga clic en Add.
  7. Vaya a la sección de registros de Datadog para explorar cualquier evento de registro nuevo enviado a su grupo de registros.

Para los usuarios de Terraform, puede aprovisionar y administrar sus activadores utilizando el recurso aws_cloudwatch_log_subscription_filter. Consulte el código de ejemplo a continuación.

data "aws_cloudwatch_log_group" "some_log_group" {
  name = "/some/log/group"
}

resource "aws_lambda_permission" "lambda_permission" {
  action        = "lambda:InvokeFunction"
  function_name = "datadog-forwarder" # this is the default but may be different in your case
  principal     = "logs.amazonaws.com" # or logs.amazonaws.com.cn for China*
  source_arn    = data.aws_cloudwatch_log_group.some_log_group.arn
}

resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
  name            = "datadog_log_subscription_filter"
  log_group_name  = <CLOUDWATCH_LOG_GROUP_NAME> # for example, /some/log/group
  destination_arn = <DATADOG_FORWARDER_ARN> # for example,  arn:aws:lambda:us-east-1:123:function:datadog-forwarder
  filter_pattern  = ""
}

* All use of Datadog Services in (or in connection with environments within) mainland China is subject to the disclaimer published in the Restricted Service Locations section on our website.

Para los usuarios de AWS CloudFormation, puede aprovisionar y administrar sus activadores utilizando el recurso AWS::Logs::SubscriptionFilter de CloudFormation. Consulte el código de ejemplo a continuación.

El código de ejemplo también funciona para AWS SAM y Serverless Framework. Para Serverless Framework, coloque el código en la sección resources dentro de su serverless.yml.

Resources:
  MyLogSubscriptionFilter:
    Type: "AWS::Logs::SubscriptionFilter"
    Properties:
      DestinationArn: "<DATADOG_FORWARDER_ARN>"
      LogGroupName: "<CLOUDWATCH_LOG_GROUP_NAME>"
      FilterPattern: ""

Recopilación de registros de buckets de S3

Si está recopilando registros de un bucket de S3, configure el activador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:

  1. Una vez instalada la función Lambda, agregue manualmente un activador en el bucket de S3 que contiene sus registros en la consola de AWS:

    Agregar activador
  2. Seleccione el bucket y luego siga las instrucciones de AWS:

    Lambda de integración
  3. Establezca el tipo de evento correcto en los buckets de S3:

    Objeto creado

Una vez hecho esto, vaya a su sección de registros de Datadog para comenzar a explorar sus registros.

Para los usuarios de Terraform, puede provisionar y administrar sus activadores utilizando el recurso aws_s3_bucket_notification. Consulte el código de ejemplo a continuación.

resource "aws_s3_bucket_notification" "my_bucket_notification" {
  bucket = my_bucket
  lambda_function {
    lambda_function_arn = "<DATADOG_FORWARDER_ARN>"
    events              = ["s3:ObjectCreated:*"]
    filter_prefix       = "AWSLogs/"
    filter_suffix       = ".log"
  }
}

Para los usuarios de CloudFormation, puede configurar activadores utilizando NotificationConfiguration de CloudFormation para su bucket de S3. Consulte el código de ejemplo a continuación.

Resources:
  Bucket:
    Type: AWS::S3::Bucket
    Properties:
      BucketName: "<MY_BUCKET>"
      NotificationConfiguration:
        LambdaConfigurations:
        - Event: 's3:ObjectCreated:*'
          Function: "<DATADOG_FORWARDER_ARN>"

Depuración y filtrado

Puede eliminar correos electrónicos o direcciones IP de los registros enviados por la función Lambda, o definir una regla de eliminación personalizada en los parámetros de Lambda. También puede excluir o enviar solo aquellos registros que coincidan con un patrón específico utilizando la opción de filtrado.

Lecturas adicionales