Enviar registros de servicios de AWS con la función Lambda de Datadog
Los registros de servicios de AWS se pueden recopilar con la función Lambda Datadog Forwarder. Esta Lambda, que se activa en buckets de S3, grupos de registros de CloudWatch y eventos de EventBridge, envía registros a Datadog.
Para comenzar a recopilar registros de sus servicios de AWS:
- Configure la función Lambda Datadog Forwarder en su cuenta de AWS.
- Habilite el registro para su servicio de AWS. Busque su servicio en Servicios de AWS compatibles para ver sus instrucciones de configuración. La mayoría de los servicios de AWS pueden registrar en un bucket de S3 o en un grupo de registros de CloudWatch.
- Configure los activadores que hacen que la función Lambda Datadog Forwarder se ejecute cuando hay nuevos registros para enviar. Hay dos formas de configurar los activadores.
Notas:
- Puede usar AWS PrivateLink para enviar sus registros a través de una conexión privada.
- CloudFormation crea una política de IAM que incluye
KMS:Decrypt para todos los recursos, y no se alinea con las mejores prácticas de AWS Security Hub. Este permiso se utiliza para descifrar objetos de buckets de S3 cifrados con KMS para configurar la función Lambda, y la clave KMS utilizada para cifrar los buckets de S3 no se puede predecir. Puede eliminar este permiso de forma segura después de que la instalación finalice correctamente.
Servicios de AWS compatibles
La función Lambda Datadog Forwarder admite cualquier servicio de AWS que genere registros en un bucket de S3 o en un grupo de registros de CloudWatch. La siguiente tabla enumera los servicios que puede recopilar:
- Servicio de AWS: El servicio de AWS que genera los registros. Cada nombre de servicio enlaza a sus instrucciones de configuración de recolección de registros. Los servicios sin un enlace no requieren configuración del lado del servicio.
- Fuente de registro: La etiqueta
source que Datadog aplica a los registros. Úsela para encontrar sus registros en el Log Explorer. - Almacenamiento: Dónde puede escribir registros el servicio de AWS que el Datadog Forwarder recopila.
- Recolección automática: Si Datadog puede configurar automáticamente los activadores para esa fuente de registro. Si no, configure los activadores manualmente.
| Servicio de AWS | Fuente de registro | Almacenamiento | Recolección automática |
|---|
| API Gateway | source:apigateway | CloudWatch, S3 | Sí |
| AppSync | source:appsync | CloudWatch | Sí |
| Batch | source:batch | CloudWatch | Sí |
| Bedrock | source:bedrock | CloudWatch, S3 | No |
| Bedrock Agentcore | source:bedrock-agentcore | CloudWatch, S3 | Sí |
| CloudFront | source:cloudfront | CloudWatch, S3 | Sí |
| CloudTrail | source:cloudtrail | CloudWatch, S3 | Sí |
| CodeBuild | source:codebuild | CloudWatch, S3 | Sí |
| DMS | source:dms | CloudWatch, S3 | Sí |
| DocumentDB | source:docdb | CloudWatch, S3 | Sí |
| ECS | source:ecs | CloudWatch | Sí |
| EKS | source:eks 1 | CloudWatch | Sí |
| Elastic Beanstalk | - 2 | CloudWatch | Sí |
| Elastic Load Balancing (ELB) | source:elb | CloudWatch, S3 | Sí |
| FSx | source:aws.fsx | CloudWatch, S3 | No |
| Glue | source:glue | CloudWatch, S3 | Sí |
| IoT | source:iot | CloudWatch | Parcial 3 |
| Lambda | source:lambda | CloudWatch | Sí |
| Lambda@Edge | source:lambda | CloudWatch | Sí |
| Lambda MicroVMs | source:lambda | CloudWatch | Sí |
| MWAA | source:mwaa | CloudWatch | Sí |
| Network Firewall | source:network-firewall | CloudWatch, S3 | Sí |
| OpenSearch | source:opensearch | CloudWatch | No |
| PCS | - 2 | CloudWatch | Parcial 4 |
| RDS | source:rds 5 | CloudWatch | Sí |
| Redshift | source:redshift | CloudWatch, S3 | Sí |
| Redshift Serverless | source:redshift-serverless | CloudWatch | Sí |
| Route 53 | source:route53 6 | CloudWatch | Sí |
| S3 | source:s3 | S3 | Sí |
| SSM | source:ssm | CloudWatch | Sí |
| Step Functions | source:stepfunction | CloudWatch | Sí |
| Transit Gateway | source:transitgateway | CloudWatch, S3 | No |
| Verified Access | source:verified-access | CloudWatch, S3 | Sí |
| VPC | source:vpc | CloudWatch, S3 | Sí |
| VPN | - 2 | CloudWatch, S3 | Sí 7 |
| Web Application Firewall | source:waf | S3 | Sí |
1 Los registros del plano de control de EKS también utilizan las fuentes kubernetes.audit, kube-scheduler, kube-apiserver, kube-controller-manager y aws-iam-authenticator.
2 Datadog no aplica una etiqueta de fuente específica del servicio a estos registros.
3 La recopilación automática para IoT solo está disponible a nivel de cuenta.
4 La recopilación automática para PCS solo está disponible para los grupos de registro de CloudWatch.
5 Los registros del motor de RDS también utilizan las fuentes postgresql, mariadb y mysql.
6 Cubre tanto los registros de consultas de DNS como los registros de consultas de Resolver.
7 La recopilación automática está disponible para los grupos de registro de CloudWatch. Para los buckets de S3, establezca el activador manualmente.
Nota: El Datadog Forwarder crea automáticamente filtros de suscripción en los grupos de registro de CloudWatch. Cada filtro se nombra con el formato DD_LOG_SUBSCRIPTION_FILTER_<LOG_GROUP_NAME>.
Servicios recopilados a través de otro método
Los siguientes servicios de AWS son compatibles con la recopilación de registros, pero no utilizan la función Lambda Datadog Forwarder de la misma manera:
| Servicio de AWS | Cómo se recopilan los registros |
|---|
| DynamoDB | DynamoDB no genera sus propios registros. La actividad de la API se captura a través de CloudTrail. Consulte Enviar registros a Datadog. |
| EC2 | Utilice el Datadog Agent para enviar sus registros a Datadog. |
| SNS | SNS no proporciona registros, pero puede procesar registros y eventos que transitan a través del servicio SNS. Consulte Enviar registros a Datadog. |
Configure activadores
Hay dos opciones al configurar activadores en la función Lambda de Datadog Forwarder:
- Automáticamente: Datadog recupera automáticamente las ubicaciones de los registros para los servicios de AWS seleccionados y los agrega como activadores en la función Lambda de Datadog Forwarder. Datadog también mantiene la lista actualizada.
- Manualmente: configure cada activador usted mismo.
Configure activadores automáticamente
Datadog puede configurar automáticamente activadores en la función Lambda de Datadog Forwarder para recopilar registros de AWS. Sin embargo, la suscripción automática no admite la creación de activadores en diferentes cuentas o regiones de AWS. Para escenarios donde los registros se publican en buckets de S3 en una cuenta separada, recomendamos crear manualmente un activador en la misma cuenta que el bucket para solucionar esta limitación.
Para ver qué servicios admiten la recopilación automática y las ubicaciones de almacenamiento que admiten, consulte Servicios de AWS admitidos.
Si aún no lo ha hecho, configure la función Lambda de AWS para recopilar registros de Datadog.
Asegúrese de que la política del rol de IAM utilizado para la integración de Datadog-AWS tenga los siguientes permisos. La información sobre cómo se utilizan estos permisos se puede encontrar en las descripciones a continuación:
"airflow:GetEnvironment",
"airflow:ListEnvironments",
"appsync:ListGraphqlApis",
"batch:DescribeJobDefinitions",
"cloudfront:GetDistributionConfig",
"cloudfront:ListDistributions",
"cloudtrail:GetTrail",
"cloudtrail:ListTrails",
"codebuild:BatchGetProjects",
"codebuild:ListProjects",
"dms:DescribeReplicationInstances",
"ec2:DescribeFlowLogs",
"ec2:DescribeVerifiedAccessInstanceLoggingConfigurations",
"ec2:DescribeVpnConnections",
"ecs:DescribeTaskDefinition",
"ecs:ListTaskDefinitionFamilies",
"eks:DescribeCluster",
"eks:ListClusters",
"elasticbeanstalk:DescribeEnvironments",
"elasticloadbalancing:DescribeLoadBalancerAttributes",
"elasticloadbalancing:DescribeLoadBalancers",
"glue:BatchGetJobs",
"glue:GetJobs",
"glue:GetJob",
"glue:ListJobs",
"iot:GetV2LoggingOptions",
"lambda:GetMicrovmImageVersion",
"lambda:GetPolicy",
"lambda:InvokeFunction",
"lambda:List*",
"logs:DeleteSubscriptionFilter",
"logs:DescribeDeliveries",
"logs:DescribeDeliverySources",
"logs:DescribeLogGroups",
"logs:DescribeSubscriptionFilters",
"logs:GetDeliveryDestination",
"logs:PutSubscriptionFilter",
"network-firewall:DescribeLoggingConfiguration",
"network-firewall:ListFirewalls",
"rds:DescribeDBClusters",
"rds:DescribeDBInstances",
"redshift-serverless:ListNamespaces",
"redshift:DescribeClusters",
"redshift:DescribeLoggingStatus",
"route53:ListQueryLoggingConfigs",
"route53resolver:ListResolverQueryLogConfigs",
"s3:GetBucketLocation",
"s3:GetBucketLogging",
"s3:GetBucketNotification",
"s3:ListAllMyBuckets",
"s3:PutBucketNotification",
"ssm:GetServiceSetting",
"ssm:ListCommands",
"states:DescribeStateMachine",
"states:ListStateMachines",
"wafv2:ListLoggingConfigurations"
| AWS Permission | Description |
|---|
airflow:ListEnvironments | List all MWAA environment names. |
airflow:GetEnvironment | Get information about a MWAA environment. |
appsync:ListGraphqlApis | List all GraphQL Apis. |
batch:DescribeJobDefinitions | List all Batch job definitions. |
cloudfront:GetDistributionConfig | Get the name of the S3 bucket containing CloudFront access logs. |
cloudfront:ListDistributions | List all CloudFront distributions. |
cloudtrail:GetTrail | Get Trail logging information. |
cloudtrail:ListTrails | List all Cloudtrail trails. |
codebuild:BatchGetProjects | List all CodeBuild projects. |
codebuild:ListProjects | Get information on CodeBuild projects. |
dms:DescribeReplicationInstances | List all replication instances for DMS. |
ec2:DescribeFlowLogs | List all Flow log configurations. |
ec2:DescribeVerifiedAccessInstanceLoggingConfigurations | List all Verified Access instance logging configurations. |
ec2:DescribeVpnConnections | List all VPN connections. |
ecs:DescribeTaskDefinition | Describe ECS task definition. |
ecs:ListTaskDefinitionFamilies | List all task definition families. |
elasticloadbalancing:
DescribeLoadBalancers | List all load balancers. |
elasticloadbalancing:
DescribeLoadBalancerAttributes | Get the name of the S3 bucket containing ELB access logs. |
glue:BatchGetJobs | Get information about multiple Glue jobs. |
glue:GetJob | Get information about a Glue job. |
glue:GetJobs | List all Glue jobs. |
glue:ListJobs | List all Glue job names. |
eks:DescribeCluster | Describe an EKS cluster. |
eks:ListClusters | List all EKS clusters. |
elasticbeanstalk:DescribeEnvironments | List all Elastic Beanstalk environments. |
iot:GetV2LoggingOptions | Get IoT V2 logging options. |
lambda:InvokeFunction | Invoke a Lambda function. |
lambda:List* | List all Lambda functions. |
lambda:GetPolicy | Get the Lambda policy when triggers are to be removed. |
lambda:GetMicrovmImageVersion | Get information about a Lambda MicroVM image version. |
logs:PutSubscriptionFilter | Add a Lambda trigger based on CloudWatch Log events. |
logs:DeleteSubscriptionFilter | Remove a Lambda trigger based on CloudWatch Log events. |
logs:DescribeLogGroups | Describe CloudWatch log groups. |
logs:DescribeDeliveries | Describe CloudWatch log deliveries. |
logs:DescribeDeliverySources | Describe CloudWatch log delivery sources. |
logs:DescribeSubscriptionFilters | List the subscription filters for the specified log group. |
logs:GetDeliveryDestination | Get a CloudWatch log delivery destination. |
network-firewall:DescribeLoggingConfiguration | Get the logging configuration of a firewall. |
network-firewall:ListFirewalls | List all Network Firewall firewalls. |
rds:DescribeDBClusters | List all RDS clusters. |
rds:DescribeDBInstances | List all RDS instances. |
redshift:DescribeClusters | List all Redshift clusters. |
redshift:DescribeLoggingStatus | Get the name of the S3 bucket containing Redshift Logs. |
redshift-serverless:ListNamespaces | List all Redshift Serverless namespaces. |
route53:ListQueryLoggingConfigs | List all DNS query logging configurations for Route 53. |
route53resolver:ListResolverQueryLogConfigs | List all Resolver query logging configurations for Route 53. |
s3:GetBucketLogging | Get the name of the S3 bucket containing S3 access logs. |
s3:GetBucketLocation | Get the region of the S3 bucket containing S3 access logs. |
s3:GetBucketNotification | Get existing Lambda trigger configurations. |
s3:ListAllMyBuckets | List all S3 buckets. |
s3:PutBucketNotification | Add or remove a Lambda trigger based on S3 bucket events. |
ssm:GetServiceSetting | Get the SSM service setting for customer script log group name. |
ssm:ListCommands | List all SSM commands. |
states:ListStateMachines | List all Step Functions. |
states:DescribeStateMachine | Get logging details about a Step Function. |
wafv2:ListLoggingConfigurations | List all logging configurations of the Web Application Firewall. |
En la página de integración de AWS, seleccione la cuenta de AWS de la que desea recopilar registros y haga clic en la pestaña Log Collection.
En la sección Datadog Forwarder Lambda, ingrese el ARN de la función Lambda creada en la sección anterior y haga clic en Add. La función Lambda aparece en la tabla a continuación con su nombre, versión y región.
En la sección Log Autosubscription, debajo de Log Sources, habilite los servicios de los que desea recopilar registros activándolos. Para dejar de recopilar registros de un servicio en particular, desactive la fuente de registro.
(Opcional) En la sección Log Source Tag Filters, puede filtrar la recopilación de registros por etiquetas de recursos para cada fuente de registro. Seleccione una fuente de registro en el menú desplegable y agregue etiquetas en formato key:value para limitar los registros de qué recursos se recopilan. Nota: Las etiquetas de recursos se convierten automáticamente a minúsculas para coincidir con las convenciones de la plataforma Datadog. Defina sus filtros de etiquetas en minúsculas para evitar discrepancias.
Si tiene registros en varias regiones, debe crear funciones Lambda adicionales en esas regiones y agregarlas en la sección Datadog Forwarder Lambda.
Para dejar de recopilar todos los registros de AWS de una función Lambda específica, coloque el cursor sobre la Lambda en la tabla y haga clic en el icono de eliminar. Se eliminan todos los activadores de esa función.
Unos minutos después de esta configuración inicial, sus registros de AWS aparecerán en el Explorador de registros de Datadog.
Configure manualmente los activadores
Recopilación de registros del grupo de registros de CloudWatch
Si está recopilando registros de un grupo de registros de CloudWatch, configure el activador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:
- En la Consola de AWS, vaya a Lambda.
- Haga clic en Functions y seleccione Datadog Forwarder.
- Haga clic en Add trigger y seleccione CloudWatch Logs.
- Seleccione el grupo de registros en el menú desplegable.
- Ingrese un nombre para su filtro y, opcionalmente, especifique un patrón de filtro.
- Haga clic en Add.
- Vaya a la sección de registros de Datadog para explorar cualquier evento de registro nuevo enviado a su grupo de registros.
Para los usuarios de Terraform, puede aprovisionar y administrar sus activadores utilizando el recurso aws_cloudwatch_log_subscription_filter. Consulte el código de ejemplo a continuación.
data "aws_cloudwatch_log_group" "some_log_group" {
name = "/some/log/group"
}
resource "aws_lambda_permission" "lambda_permission" {
action = "lambda:InvokeFunction"
function_name = "datadog-forwarder" # this is the default but may be different in your case
principal = "logs.amazonaws.com" # or logs.amazonaws.com.cn for China*
source_arn = data.aws_cloudwatch_log_group.some_log_group.arn
}
resource "aws_cloudwatch_log_subscription_filter" "datadog_log_subscription_filter" {
name = "datadog_log_subscription_filter"
log_group_name = <CLOUDWATCH_LOG_GROUP_NAME> # for example, /some/log/group
destination_arn = <DATADOG_FORWARDER_ARN> # for example, arn:aws:lambda:us-east-1:123:function:datadog-forwarder
filter_pattern = ""
}
*
All use of Datadog Services in (or in connection with environments within) mainland China is subject to the disclaimer published in the Restricted Service Locations section on our website.
Para los usuarios de AWS CloudFormation, puede aprovisionar y administrar sus activadores utilizando el recurso AWS::Logs::SubscriptionFilter de CloudFormation. Consulte el código de ejemplo a continuación.
El código de ejemplo también funciona para AWS SAM y Serverless Framework. Para Serverless Framework, coloque el código en la sección resources dentro de su serverless.yml.
Resources:
MyLogSubscriptionFilter:
Type: "AWS::Logs::SubscriptionFilter"
Properties:
DestinationArn: "<DATADOG_FORWARDER_ARN>"
LogGroupName: "<CLOUDWATCH_LOG_GROUP_NAME>"
FilterPattern: ""
Recopilación de registros de buckets de S3
Si está recopilando registros de un bucket de S3, configure el activador para la función Lambda de Datadog Forwarder utilizando uno de los siguientes métodos:
Una vez instalada la función Lambda, agregue manualmente un activador en el bucket de S3 que contiene sus registros en la consola de AWS:
Seleccione el bucket y luego siga las instrucciones de AWS:
Establezca el tipo de evento correcto en los buckets de S3:
Una vez hecho esto, vaya a su sección de registros de Datadog para comenzar a explorar sus registros.
Para los usuarios de Terraform, puede provisionar y administrar sus activadores utilizando el recurso aws_s3_bucket_notification. Consulte el código de ejemplo a continuación.
resource "aws_s3_bucket_notification" "my_bucket_notification" {
bucket = my_bucket
lambda_function {
lambda_function_arn = "<DATADOG_FORWARDER_ARN>"
events = ["s3:ObjectCreated:*"]
filter_prefix = "AWSLogs/"
filter_suffix = ".log"
}
}
Para los usuarios de CloudFormation, puede configurar activadores utilizando NotificationConfiguration de CloudFormation para su bucket de S3. Consulte el código de ejemplo a continuación.
Resources:
Bucket:
Type: AWS::S3::Bucket
Properties:
BucketName: "<MY_BUCKET>"
NotificationConfiguration:
LambdaConfigurations:
- Event: 's3:ObjectCreated:*'
Function: "<DATADOG_FORWARDER_ARN>"
Depuración y filtrado
Puede eliminar correos electrónicos o direcciones IP de los registros enviados por la función Lambda, o definir una regla de eliminación personalizada en los parámetros de Lambda.
También puede excluir o enviar solo aquellos registros que coincidan con un patrón específico utilizando la opción de filtrado.
Lecturas adicionales
Documentación, enlaces y artículos útiles adicionales: