Aperçu

Pour configurer Cloud Cost Management dans Datadog, vous devez :

1. Un compte AWS avec accès à la facturation
2. L’intégration AWS installée dans Datadog
3. Un rapport de coûts et d’utilisation (suivez les étapes ci-dessous pour en créer un)

Configuration

Vous pouvez configurer en utilisant l’API, Terraform, ou directement dans Datadog en suivant les instructions ci-dessous.

Configurer l’intégration AWS

Accédez à Setup & Configuration, ajoutez un compte AWS et suivez les étapes pour configurer l’intégration AWS.

Remarque : Datadog recommande de configurer un rapport de coûts et d’utilisation à partir d’un compte de gestion AWS pour la visibilité des coûts dans les comptes membres associés.

Si vous envoyez un rapport de coûts et d’utilisation depuis un compte membre AWS, assurez-vous d’avoir sélectionné les options suivantes dans les [préférences] de votre compte de gestion :

• Linked Account Access
• Linked Account Refunds and Credits
• Linked Account Discounts

Ces paramètres garantissent une précision totale des coûts en permettant des calculs de coûts périodiques via l’AWS Cost Explorer.

Sélectionnez les ressources à créer

La pile CloudFormation peut être configurée de trois manières en fonction de vos ressources AWS existantes :

• Nouvelle configuration : Sélectionnez Create Cost and Usage Report pour créer à la fois le rapport et son bucket S3
• Bucket existant : Sélectionnez Create Cost and Usage Report et désélectionnez Create S3 Bucket pour utiliser un bucket S3 existant
• Rapport existant : Désélectionnez Create Cost and Usage Report pour importer un rapport de coûts et d’utilisation existant

Configurez les paramètres du rapport de coûts et d’utilisation :

Entrez les détails suivants pour votre rapport de coûts et d’utilisation :

• Bucket Name : Le nom du bucket S3 où les fichiers de rapport sont stockés.
• Bucket Region : Le code de région AWS de la région contenant votre bucket S3. Par exemple, us-east-1.
• Export Path Prefix : Le préfixe de chemin S3 où les fichiers de rapport sont stockés.
  • Remarque : Les formats de préfixe suivants ne sont pas pris en charge : vide, commençant par / (tel que / ou /cost), ou se terminant par / (tel que cost/). Les préfixes contenant / au milieu sont pris en charge (tels que cost/hourly).
• Export Name : Le nom de votre rapport de coûts et d’utilisation.

Remarque :

• Ces valeurs localisent soit votre rapport de coûts et d’utilisation existant, soit définissent les paramètres pour les ressources nouvellement créées.
• Il peut falloir entre 48 et 72 heures pour que toutes les données disponibles apparaissent dans votre organisation Datadog après qu’un rapport de coûts et d’utilisation complet a été généré. Si 72 heures se sont écoulées et que les données ne sont toujours pas apparues, contactez le support Datadog.

Sélectionnez les ressources à créer

La configuration Terraform prend en charge trois configurations en fonction de vos ressources AWS existantes :

• Nouvelle configuration : Sélectionnez Create Cost and Usage Report pour créer à la fois le rapport et son bucket S3
• Bucket existant : Sélectionnez Create Cost and Usage Report et désélectionnez Create S3 Bucket pour utiliser un bucket S3 existant
• Bucket et rapport existants : Désélectionnez Create Cost and Usage Report et Create S3 Bucket pour utiliser un rapport et un bucket S3 existants.

Remarque : Si vous utilisez un bucket existant, vérifiez qu’AWS a la permission d’écrire des CURs dedans. Sinon, vous devrez peut-être mettre à jour la politique de votre bucket.

Configurez les paramètres du rapport de coûts et d’utilisation

Entrez les détails suivants pour votre rapport de coûts et d’utilisation :

• Bucket Name : Le nom du bucket S3 où les fichiers de rapport sont stockés.
• Bucket Region : Le code de région AWS de la région contenant votre bucket S3. Par exemple, us-east-1.
• Export Path Prefix : Le préfixe de chemin S3 où les fichiers de rapport sont stockés.
  • Remarque : Les formats de préfixe suivants ne sont pas pris en charge : vide, commençant par / (comme / ou /cost), ou se terminant par / (comme cost/). Les préfixes contenant / au milieu sont pris en charge (comme cost/hourly).
• Export Name : Le nom de votre rapport de coûts et d’utilisation.

Remarque :

• Ces valeurs localisent soit votre rapport de coûts et d’utilisation existant, soit définissent les paramètres pour les ressources nouvellement créées.
• Il peut falloir entre 48 et 72 heures pour que toutes les données disponibles apparaissent dans votre organisation Datadog après qu’un rapport de coûts et d’utilisation complet a été généré. Si 72 heures se sont écoulées et que les données ne sont toujours pas apparues, contactez le support Datadog.

Copiez le HCL Terraform généré et appliquez les modifications

Dans l’interface de configuration Terraform CCM, suivez les instructions de l’étape Apply Terraform Configuration. Résolvez tous les problèmes qui apparaissent lors de l’exécution de terraform plan ou terraform apply avant de revenir à CCM pour confirmer la création du compte.

Prérequis : générez un rapport de coûts et d’utilisation

Créez un rapport de coûts et d’utilisation hérité dans AWS sous la section Data Exports.

Sélectionnez le type d’exportation Legacy CUR export.

Sélectionnez les options suivantes dans la section Content :

• Type d’exportation : Legacy CUR export
• Include resource IDs
• Split cost allocation data (Active l’allocation des coûts ECS) Vous devez également vous inscrire à AWS Split Cost Allocation dans les préférences de Cost Explorer).
• Refresh automatically

Sélectionnez les options de livraison suivantes :

• Granularité temporelle : Hourly
• Versionnage des rapports : Create new report version
• Type de compression : GZIP ou Parquet

Localisez le rapport de coûts et d’utilisation

Si vous vous êtes éloigné du rapport que vous avez créé dans la section des prérequis, suivez la documentation AWS pour voir vos exports de données. Sélectionnez l’export CUR hérité que vous avez créé, puis sélectionnez Edit pour voir les détails de l’export.

Pour permettre à Datadog d’accéder au rapport de coûts et d’utilisation, remplissez les champs avec les informations pertinentes :

• Bucket Name : C’est le nom du bucket S3 dans la section des paramètres de stockage des exports de données.
• Bucket Region : C’est la région où se trouve votre bucket. Par exemple, us-east-1.
• Export Path Prefix : C’est le préfixe de chemin S3 dans la section des paramètres de stockage des exports de données.
  • Remarque : Les formats de préfixe suivants ne sont pas pris en charge : vide, commençant par / (tels que / ou /cost), ou se terminant par / (tels que cost/). Les préfixes contenant / au milieu sont pris en charge (tels que cost/hourly).
• Export Name : C’est le nom de l’export dans la section du nom de l’export.

Remarque : Datadog ne prend en charge que les rapports sur les coûts et l’utilisation (CUR) hérités générés par AWS. Ne modifiez pas ou ne déplacez pas les fichiers générés par AWS, ni n’essayez de fournir un accès aux fichiers générés par un tiers.

Le point de terminaison des rapports de coûts et d'utilisation AWS est utilisé pour valider les champs ci-dessus par rapport à l'export CUR dans votre bucket S3. Ce point de terminaison n'est pas validé par FIPS.

Configurez l’accès au rapport de coûts et d’utilisation

Créez une politique dans AWS pour garantir que Datadog dispose des autorisations nécessaires pour accéder au CUR et au bucket S3 dans lequel il est stocké. Utilisez le JSON suivant :

Copy

{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Sid": "DDCloudCostReadBucket",
          "Effect": "Allow",
          "Action": [
              "s3:ListBucket"
          ],
          "Resource": "arn:aws:s3:::BUCKETNAME"
      },
      {
          "Sid": "DDCloudCostGetBill",
          "Effect": "Allow",
          "Action": [
              "s3:GetObject"
          ],
          "Resource": "arn:aws:s3:::BUCKETNAME/REPORT_PREFIX/REPORT_NAME/*"
      },
      {
          "Sid": "DDCloudCostCheckAccuracy",
          "Effect": "Allow",
          "Action": [
              "ce:Get*"
          ],
          "Resource": "*"
      },
      {
          "Sid": "DDCloudCostListCURs",
          "Action": [
              "cur:DescribeReportDefinitions"
          ],
          "Effect": "Allow",
          "Resource": "*"
      },
      {
          "Sid": "DDCloudCostListOrganizations",
          "Action": [
              "organizations:Describe*",
              "organizations:List*"
          ],
          "Effect": "Allow",
          "Resource": "*"
      }
  ]
}

Remarque : Notez le nom que vous avez créé pour cette politique pour les étapes suivantes.

Attachez la politique au rôle d’intégration Datadog

Associez la nouvelle stratégie S3 au rôle de l’intégration Datadog.

1. Accédez à Roles dans la console AWS IAM.
2. Localisez le rôle utilisé par l’intégration Datadog. Par défaut, il est nommé DatadogIntegrationRole, mais le nom peut varier si votre organisation l’a renommé. Cliquez sur le nom du rôle pour ouvrir la page de résumé du rôle.
3. Cliquez sur Attach policies.
4. Entrez le nom de la politique du bucket S3 créée ci-dessus.
5. Cliquez sur Attach policy.

Remarque : Il peut falloir entre 48 et 72 heures pour que toutes les données disponibles apparaissent dans votre organisation Datadog après la génération d’un rapport complet de coûts et d’utilisation. Si 72 heures se sont écoulées et que les données ne sont toujours pas apparues, contactez [le support Datadog][18].

Filtrage de compte

Utilisez le filtrage de compte pour contrôler quels comptes membres AWS doivent être intégrés à la gestion des coûts Cloud. Exclure des comptes n’entraîne pas de coûts supplémentaires pour Datadog.

L’utilisation du filtrage de compte nécessite un compte de gestion AWS. Vous pouvez configurer des filtres de compte après qu’un compte a été configuré dans la gestion des coûts dans le cloud.

Remarque : Les filtres de compte ne sont pas pris en charge pour la recherche par étiquette.

Configurez des filtres de compte pour un compte existant

Accédez à Cloud Cost > Settings, sélectionnez Comptes, puis cliquez sur Manage Account pour le compte de gestion que vous souhaitez filtrer.

Cliquez sur Billing dataset pour accéder à l’interface utilisateur de filtrage de compte.

Obtenir des données historiques

Si vous configurez un rapport de coûts et d’utilisation qui a déjà des données historiques disponibles dans S3, Datadog ingère automatiquement jusqu’à 15 mois de données de coûts historiques.

Si votre rapport nouvellement configuré n’a pas de données historiques, vous pouvez demander un remplissage rétroactif à AWS :

Pour demander un remplissage rétroactif des données de coûts historiques AWS :

1. Ouvrez un cas de support AWS et demandez un remplissage rétroactif de vos données de coûts.
2. Incluez le nom du rapport et la période de facturation souhaitée dans votre demande.
3. Attendez qu’AWS traite la demande de remplissage rétroactif.

Lorsque les données sont complétées rétroactivement par AWS, Datadog ingère automatiquement les données dans les 24 heures.

AWS ne peut pas compléter rétroactivement les données de coûts qui précèdent votre compte AWS ou qui reflètent une structure précédente des organisations AWS.

Pour plus d’informations, consultez le guide de dépannage des rapports de coûts et d’utilisation AWS.

Types de coûts

Visualisez vos données ingérées en utilisant des types de coûts prêts à l’emploi. Les types de coûts diffèrent principalement par la manière dont ils rendent compte des taux de remise, des plans d’économies et des réservations.

À la demande

Les coûts à la demande représentent le coût d’utilisation au tarif public à la demande publié par AWS. Cela exclut tous les plans d’économies, réservations, remises, taxes et frais.

Remarque : Dans la plupart des cas, les coûts à la demande ne sont pas une source fiable pour estimer les coûts réels.

Coûts amortis et non mélangés

Les métriques de coût amorti répartissent les économies d’engagement sur toute la durée de la remise. Ceci est également appelé base d’accumulation. Les réservations et les plans d’économies sont déduits d’un engagement mensuel et appliqués directement à l’utilisation couverte, au moment de l’utilisation. Tout reste inutilisé apparaît comme un frais.

En revanche, les métriques de coût non mélangé montrent tous les frais à la date où ils sont encourus. Ceci est également appelé base de coût. Les frais de réservation et de plan d’économies apparaissent à la date à laquelle ils ont été facturés et ne sont pas appliqués directement à l’utilisation couverte. Après que les données de facturation pour un mois soient finalisées, les métriques non mélangées correspondent exactement à la facture AWS.

Coûts nets

Les coûts nets appliquent des remises privées directement à l’utilisation. Le coût d’utilisation pour une ressource spécifique représente le coût effectif après que toutes les économies soient réalisées.

En revanche, d’autres métriques montrent les remises privées comme des éléments de ligne séparés, à valeur négative, sans étiquettes d’attribution de ressource. Plutôt que d’attribuer les remises directement à l’utilisation, ces métriques soustraient les remises du coût total.

Les coûts amortis nets fournissent la représentation la plus précise pour l’allocation des coûts, avec toutes les économies appliquées directement à l’utilisation. Les métriques de coût net sont disponibles si votre compte AWS a des remises d’entreprise négociées en privé. Si votre compte ne dispose pas de remises d’entreprise, alors le coût net amorti et le coût amorti sont équivalents.

Allocation de conteneurs

Les métriques d’allocation de conteneurs contiennent tous les mêmes coûts que les métriques AWS, mais avec des décompositions et des informations supplémentaires pour les charges de travail de conteneurs. Voir allocation des coûts des conteneurs pour plus de détails.

Exemple

Le scénario suivant démontre comment différents types de coûts se comportent. Imaginez que vous avez :

• Une instance EC2 fonctionnant pendant une heure avec un coût de 3 $ par heure de calcul.
• Un plan d’économies qui fixe le prix de ce type d’instance à 2 $ par heure de calcul.
• Une remise EDP négociée de 10 % en plus de toutes les autres remises.

Voici comment le coût de l’instance, l’engagement horaire du programme de remise et les réductions sont représentés pour chaque type de coût :

Résumé des métriques de coût

En règle générale :

• aws.cost.net.amortized.shared.resources.allocated fournit l’allocation des coûts la plus complète pour des charges de travail et des équipes spécifiques.
• Si vous n’avez pas d’allocation des coûts des conteneurs, utilisez aws.cost.net.amortized.
• Si vous n’avez pas de coûts amortis nets, utilisez aws.cost.amortized.shared.resources.allocated ou aws.cost.amortized.

Comment Datadog enrichit vos données de coûts AWS avec des tags

Datadog enrichit automatiquement vos données de coûts AWS avec des tags provenant de plusieurs sources. Pour un aperçu complet de la manière dont les tags sont appliqués aux données de coûts, voir Tags.

Les sources de tags suivantes sont disponibles pour AWS :

• Colonnes du rapport sur les coûts et l’utilisation
• Étiquettes de ressources AWS
• Étiquettes de compte AWS
• Étiquettes d’intégration AWS
• Étiquettes prêtes à l’emploi
• Étiquettes de charge de travail de conteneur
• Étiquettes de pipelines

Colonnes du rapport de coûts et d’utilisation

Toutes les colonnes contenant des chaînes du Rapport de coût et d’utilisation AWS sont ajoutées en tant que tags aux métriques de coûts.

Pour garantir la cohérence, Datadog normalise les clés d’étiquettes en utilisant des underscores et des minuscules. Par exemple, la colonne CUR lineItem/ResourceId correspond à la clé d’étiquette line_item/resource_id. Les valeurs d’étiquettes sont généralement non modifiées, maintenant la casse exacte et la plupart des caractères spéciaux.

Exemples :

Étiquettes de ressources AWS

Les étiquettes de ressources AWS sont des étiquettes définies par l’utilisateur qui apparaissent dans la console AWS lors de la visualisation d’une ressource particulière, comme une instance EC2 ou un bucket S3.

Lorsque vous activez l’intégration AWS de Datadog, Datadog collecte automatiquement les étiquettes de ressources pour la plupart des ressources AWS. Ces étiquettes sont appliquées à tous les coûts trouvés dans le CUR pour une ressource donnée. Les étiquettes de ressources sont récupérées régulièrement et sont appliquées aux données de coût à partir du jour où elles sont créées ou modifiées. Les valeurs des étiquettes historiques ne sont pas écrasées lorsque les étiquettes changent.

Si l’intégration AWS n’est pas activée, vous pouvez activer l’enrichissement des étiquettes de ressources en activant les étiquettes d’allocation des coûts dans la facturation AWS. Cela vous permet de sélectionner un sous-ensemble de clés d’étiquettes de ressources à inclure en tant que colonnes dans le AWS CUR. Datadog inclut automatiquement ces colonnes en tant qu’étiquettes lors du traitement du CUR.

Étiquettes d’organisation et de compte AWS

Les organisations AWS prennent en charge les étiquettes définies par l’utilisateur sur les unités organisationnelles et les comptes. Datadog récupère automatiquement et applique ces étiquettes aux données de coût. Les étiquettes de compte sont appliquées à toute l’utilisation associée à ces comptes. Les étiquettes d’organisation sont appliquées à toutes les données de facturation pour le compte payeur correspondant.

Nécessite l’intégration Datadog AWS sur le compte de l’organisation.

Étiquettes d’intégration AWS

Les étiquettes d’intégration AWS sont des étiquettes définies sur la tuile d’intégration AWS dans la page des intégrations Datadog. Elles sont appliquées à tous les coûts trouvés dans le CUR pour le compte AWS associé.

Étiquettes prêtes à l’emploi

Datadog ajoute des étiquettes prêtes à l’emploi aux données de coût ingérées pour vous aider à décomposer et à allouer vos coûts. Ces étiquettes sont dérivées de votre rapport de coûts et d’utilisation (CUR) et facilitent la découverte et la compréhension des données de coût.

Les tags par défaut suivants peuvent être utilisés pour filtrer et regrouper vos données :

Corrélation des coûts et de l’observabilité

Il est important de visualiser les coûts dans le contexte des données d’observabilité pour comprendre comment les changements d’infrastructure impactent les coûts, identifier pourquoi les coûts changent et optimiser l’infrastructure pour les coûts et la performance. Datadog met à jour les étiquettes d’identification des ressources sur les données de coût pour les principaux produits AWS afin de simplifier la corrélation entre les métriques d’observabilité et de coût.

Par exemple, pour visualiser le coût et l’utilisation de chaque base de données RDS, vous pouvez créer un tableau avec aws.cost.amortized, aws.rds.cpuutilization et aws.rds.freeable_memory (ou toute autre métrique RDS) et regrouper par dbinstanceidentifier. Pour voir l’utilisation et les coûts de Lambda côte à côte, vous pouvez tracer aws.lambda.concurrent_executions et aws.cost.amortized regroupés par functionname.

Les étiquettes prêtes à l’emploi suivantes sont disponibles :

Orchestrateurs de conteneurs

L’allocation des coûts des conteneurs ajoute des étiquettes provenant des charges de travail générant des coûts. Les exemples incluent des étiquettes provenant des pods et nœuds Kubernetes ainsi que des tâches et conteneurs ECS.

Nécessite l’allocation des coûts des conteneurs, et s’applique uniquement aux shared.resources.allocated métriques.

Pipelines d’étiquettes

Enfin, tous les ensembles de règles de votre pipeline de tags sont appliqués, ce qui permet une décomposition complète des coûts lorsque l’ajout des tags d’infrastructure n’est pas possible. Les pipelines d’étiquettes constituent la dernière couche d’enrichissement et ajoutent de nouvelles étiquettes à vos données de coûts.

Billing Conductor

AWS Billing Conductor est un service de facturation personnalisé pour les partenaires du canal AWS Marketplace et les organisations ayant des exigences de refacturation. Billing Conductor permet aux clients de créer une seconde version pro forma de leurs coûts à partager avec leurs clients ou propriétaires de compte. Les tarifs de facturation, crédits et frais, ainsi que les coûts indirects peuvent être personnalisés à votre discrétion. Vous pouvez également sélectionner les comptes à inclure dans le CUR.

Limitations importantes :

• Les rapports de coûts et d’utilisation pro forma n’incluent pas les remises et les taxes, ce qui rend difficile la comparaison des coûts dans Datadog avec AWS Cost Explorer.
• Ajouter des comptes à un groupe de facturation impacte la manière dont les Reservations et Savings Plans sont partagés entre les comptes AWS.

Pour créer un CUR de Billing Conductor, suivez le guide de l’utilisateur des rapports de coûts et d’utilisation AWS. Assurez-vous que le CUR répond aux exigences de Datadog. Après la création du CUR de Billing Conductor, suivez les instructions de Cloud Cost Management ci-dessus pour le configurer dans Datadog.

Lectures complémentaires

Documentation, liens et articles supplémentaires utiles:

Cloud Cost ManagementDOCUMENTATION Obtenez des informations sur votre facture AzureDOCUMENTATION Obtenez des informations sur votre facture Google CloudDOCUMENTATION Obtenez des informations sur votre facture OracleDOCUMENTATION