Archives de Logs

Si ce n’est pas déjà fait, configurez l’intégration AWS pour le compte AWS associé à votre compartiment S3.

• En général, il est nécessaire de créer un rôle pouvant être utilisé par Datadog pour l’intégration à AWS S3.
• Pour les comptes AWS GovCloud ou China uniquement, utilisez les clés d’accès comme alternative à la délégation de rôles.

Si vous ne l’avez pas encore fait, configurez l’intégration Azure pour l’abonnement associé à votre compte de stockage. Vous devrez créer une inscription d’application utilisable par Datadog afin de procéder à l’intégration.

Si vous ne l’avez pas encore fait, configurez l’intégration GCP pour le projet qui comporte votre compartiment de stockage GCS. Vous devrez créer un compte de service GCS utilisable par Datadog afin de procéder à l’intégration.

Accédez à votre console AWS et créez un compartiment S3 vers lequel vos archives seront envoyées.

Remarques :

• Assurez-vous que votre compartiment n’est pas accessible au public.
• Ne définissez pas le verrouillage des objets, car il arrive dans de rares cas (généralement après une expiration) que les dernières données doivent être réécrites.

• Accédez à votre portail Azure et créez un compte de stockage vers lequel vous souhaitez envoyer vos archives. Attribuez un nom à votre compte, choisissez n’importe quel type de compte, puis sélectionnez le niveau d’accès hot.
• Créez un service de conteneur dans ce compte de stockage. Prenez note du nom du conteneur, car vous devrez l’indiquer dans la page d’archive Datadog.

Remarque : ne définissez pas de stratégie d’immuabilité, car il arrive dans de rares cas (généralement après une expiration) que les dernières données doivent être réécrites.

Accédez à votre compte GCP et créez un compartiment GCS vers lequel vos archives seront envoyées. Sous Choose how to control access to objects, sélectionnez Set object-level and bucket-level permissions.

Remarque : n’ajoutez pas de règle de conservation, car il arrive dans de rares cas (généralement après une expiration) que les dernières données doivent être réécrites.

1. Créez une stratégie avec les deux instructions d’autorisation suivantes :

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Sid": "DatadogUploadAndRehydrateLogArchives",
         "Effect": "Allow",
         "Action": ["s3:PutObject", "s3:GetObject"],
         "Resource": [
           "arn:aws:s3:::<MY_BUCKET_NAME_1_/_MY_OPTIONAL_BUCKET_PATH_1>/*",
           "arn:aws:s3:::<MY_BUCKET_NAME_2_/_MY_OPTIONAL_BUCKET_PATH_2>/*"
         ]
       },
       {
         "Sid": "DatadogRehydrateLogArchivesListBucket",
         "Effect": "Allow",
         "Action": "s3:ListBucket",
         "Resource": [
           "arn:aws:s3:::<MY_BUCKET_NAME_1>",
           "arn:aws:s3:::<MY_BUCKET_NAME_2>"
         ]
       }
     ]
   }
   

   • Les autorisations GetObject et ListBucket permettent la réintégration des logs à partir des archives.
   • L’autorisation PutObject est suffisante pour l’importation d’archives.

2. Modifiez le nom des compartiments.

3. Vous pouvez également spécifier les chemins vers vos archives de logs.

4. Associez la nouvelle stratégie au rôle de l’intégration Datadog. a. Accédez à Roles depuis la console IAM d’AWS. b. Repérez le rôle utilisé par l’intégration Datadog. Il est intitulé DatadogIntegrationRole par défaut, mais il est possible que votre organisation l’ait renommé. Cliquez sur le nom du rôle pour ouvrir une page de synthèse. c. Cliquez sur Add permissions, puis sur Attach policies. d. Saisissez le nom de la stratégie créée précédemment. e. Cliquez sur Attach policies.

Remarque : vérifiez que la valeur de ressource sous les actions s3:PutObject et s3:GetObject se termine par /*, car ces autorisations sont appliquées aux objets des compartiments.

• Autorisez l’application Datadog à écrire dans votre compte de stockage et effectuer une réintégration à partir de celui-ci.
• Sélectionnez votre compte de stockage depuis la page Storage Accounts, accédez à Access Control (IAM) et sélectionnez Add -> Add Role Assignment.
• Ajoutez le rôle Storage Blob Data Contributor, sélectionnez l’application Datadog que vous avez créée pour l’intégration Azure, puis enregistrez.

Autorisez votre compte de service GCP Datadog à écrire vos archives dans votre compartiment.

• Si vous créez un compte de service, gérez ces autorisations depuis la page GCP Credentials.
• Si vous modifiez un compte de service existant, accédez plutôt à la page GCP IAM Admin).

Ajoutez le rôle Storage Object Admin sous Storage.

Sélectionnez le compte AWS et le rôle appropriés pour votre compartiment S3.

Indiquez le nom de votre compartiment. Facultatif : ajoutez un répertoire comme préfixe vers lequel l’ensemble de vos archives de logs sera envoyé.

Sélectionnez le type d’archive Azure Storage, ainsi que le locataire et le client Azure pour l’application Datadog disposant du rôle Storage Blob Data Contributor sur votre compte de stockage.

Indiquez le nom de votre compte de stockage et un nom de conteneur pour votre archive. Facultatif : ajoutez un répertoire comme préfixe vers lequel l’ensemble du contenu de vos archives de logs sera envoyé.

Sélectionnez le type d’archive GCS, puis le compte de service GCS doté des autorisations d’écriture dans votre compte de stockage.

Indiquez le nom de votre compartiment. Facultatif : ajoutez un répertoire comme préfixe vers lequel l’ensemble de vos archives de logs sera envoyé.

Vous pouvez définir une configuration de cycle de vie sur votre compartiment S3 pour transférer automatiquement vos archives de logs vers les classes de stockage optimales.

La fonctionnalité de réintégration des logs prend en charge toutes les classes de stockage, à l’exception de Glacier et de Glacier Deep Archive (Glacier Instant Retrieval est compatible). Si vous souhaitez réintégrer des logs depuis des archives stockées dans les classes de stockage Glacier ou Glacier Deep Archive, vous devez d’abord les transférer vers une autre classe de stockage.

SSE-S3

La méthode la plus simple pour ajouter le chiffrement côté serveur à vos archives de logs S3 consiste à utiliser le chiffrement natif côté serveur d’Amazon S3, SSE-S3.

Pour l’activer, accédez à l’onglet Properties dans votre compartiment S3 et sélectionnez Default Encryption. Sélectionnez l’option AES-256, puis cliquez sur Save.

SSE-KMS

Datadog prend également en charge le chiffrement côté serveur à l’aide d’un CMK d’AWS KMS. Pour l’activer, suivez les étapes ci-dessous :

1. Créez votre CMK.
2. Associez une stratégie CMK à votre CMK avec le contenu suivant, en remplaçant le numéro de compte AWS et le nom de rôle IAM Datadog de façon appropriée :

{
    "Id": "key-consolepolicy-3",
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Enable IAM User Permissions",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<NUMÉRO_COMPTE_AWS>:root"
            },
            "Action": "kms:*",
            "Resource": "*"
        },
        {
            "Sid": "Allow use of the key",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<NUMÉRO_COMPTE_AWS>:role/<NOM_RÔLE_IAM_DATADOG>"
            },
            "Action": [
                "kms:Encrypt",
                "kms:Decrypt",
                "kms:ReEncrypt*",
                "kms:GenerateDataKey*",
                "kms:DescribeKey"
            ],
            "Resource": "*"
        },
        {
            "Sid": "Allow attachment of persistent resources",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<NUMÉRO_COMPTE_AWS>:role/<NOM_RÔLE_IAM_DATADOG>"
            },
            "Action": [
                "kms:CreateGrant",
                "kms:ListGrants",
                "kms:RevokeGrant"
            ],
            "Resource": "*",
            "Condition": {
                "Bool": {
                    "kms:GrantIsForAWSResource": "true"
                }
            }
        }
    ]
}

3. Accédez à l’onglet Properties dans votre compartiment S3 et sélectionnez Default Encryption. Choisissez l’option “AWS-KMS”, sélectionnez l’ARN de votre CMK et cliquez sur Save.