Présentation

Pour configurer Cloud Cost Management dans Datadog, vous avez besoin de ce qui suit :

1. Un compte AWS avec accès à la facturation
2. L’intégration AWS installée dans Datadog
3. Un rapport sur les coûts et l’utilisation (suivez les étapes ci-dessous pour en créer un)

Configuration

Configurer l’intégration AWS

Accédez à Setup & Configuration et sélectionnez un compte AWS dans le menu déroulant pour récupérer les coûts associés.

Remarque : Datadog recommande de configurer un rapport sur les coûts et l’utilisation à partir d’un compte de gestion AWS pour pouvoir accéder aux coûts des comptes de membres associés.

Si vous envoyez un rapport sur les coûts et l’utilisation à partir d’un compte de membre AWS, assurez-vous d’avoir sélectionné les options suivantes dans les préférences de votre compte de gestion :

• Linked Account Access
• Linked Account Refunds and Credits
• Linked Account Discounts

Ces paramètres permettent de calculer les coûts périodiques et de les comparer à ceux de l’AWS Cost Explorer, afin de garantir la précision des coûts.

Sélectionner les ressources à créer

La pile CloudFormation peut être configurée de trois manières différentes selon vos ressources AWS existantes :

• Nouvelle configuration : sélectionnez Create Cost and Usage Report pour créer à la fois le rapport et son compartiment S3.
• Compartiment existant : sélectionnez Create Cost and Usage Report et désélectionnez Create S3 Bucket pour utiliser votre compartiment S3 existant.
• Rapport existant : désélectionnez Create Cost and Usage Report pour importer un rapport existant sur les coûts et l’utilisation.

Configurer les paramètres du rapport sur les coûts et l’utilisation

Renseignez les informations suivantes pour votre rapport sur les coûts et l’utilisation :

• Bucket Name : le nom du compartiment S3 dans lequel les fichiers de rapport sont stockés.
• Bucket Region : le code de région AWS de la région contenant votre compartiment S3, par exemple us-east-1.
• Export Path Prefix : le préfixe du chemin S3 où les fichiers de rapport sont stockés.
• Export Name : le nom du rapport sur les coûts et l’utilisation.

Remarques :

• Ces valeurs permettent de repérer votre rapport sur les coûts et l’utilisation existant ou de définir les paramètres des nouvelles ressources créées.
• Après la génération d’un rapport complet sur les coûts et l’utilisation, il peut s’écouler entre 48 et 72 heures avant que toutes les données disponibles ne soient renseignées au sein de votre organisation Datadog. Passé ce délai, si aucune donnée n’est fournie, contactez l’[assitance Datadog][18].

Prérequis : générer un rapport de coûts et d’utilisation

Créez un ancien rapport sur les coûts et l’utilisation dans AWS depuis la section Data Exports.

Sélectionnez le type d’exportation Legacy CUR export.

Sélectionnez les options suivantes dans la section Content :

• Type d’exportation : Legacy CUR export
• Include resource IDs
• Split cost allocation data (permet d’activer l’allocation des coûts ECS ; vous devez également activer l’allocation des coûts AWS répartis dans les préférences du Cost Explorer)
• “Refresh automatically”

Sélectionnez les options de création suivantes :

• Granularité temporelle : Hourly
• Versions du rapport : Create new report version
• Type de compression : GZIP ou Parquet

Accéder au rapport de coûts et d’utilisation

Si vous avez fermé le rapport créé dans la section des prérequis, consultez la documentation AWS pour visualiser vos exportations de données. Sélectionnez l’ancienne exportation de rapport sur les coûts et l’utilisation que vous avez créée, puis sélectionnez Edit pour afficher les détails de l’exportation.

Pour permettre à Datadog d’accéder au rapport de coûts et d’utilisation, remplissez les champs avec les informations pertinentes :

• Bucket Name : il s’agit du nom du compartiment S3 indiqué dans les paramètres de stockage des exportations de données.
• Bucket Region : il s’agit de la région de votre compartiment. Exemple : us-east-1.
• Export Path Prefix : il s’agit du préfixe du chemin S3 indiqué dans les paramètres de stockage des exportations de données.
• Export Name : il s’agit du nom de l’exportation défini à la section dédiée.

Remarque : Datadog prend uniquement en charge les anciens rapports sur les coûts et l’utilisation générés par AWS. Évitez de modifier ou de déplacer les fichiers générés par AWS. Ne tentez pas non plus d’accorder l’accès à des fichiers générés par un tiers.

L'endpoint AWS des rapports sur les coûts et l'utilisation sert à valider les informations des champs ci-dessus en les comparant à l'exportation du rapport dans votre compartiment S3. Cet endpoint ne respecte pas la norme FIPS.

Configurer l’accès au rapport de coûts et d’utilisation

Créer une stratégie dans AWS pour vous assurer que Datadog puisse accéder au rapport sur les coûts et l’utilisation ainsi qu’au compartiment S3 dans lequel il est stocké. Utilisez le JSON suivant :

Copy

{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Sid": "DDCloudCostReadBucket",
          "Effect": "Allow",
          "Action": [
              "s3:ListBucket"
          ],
          "Resource": "arn:aws:s3:::BUCKETNAME"
      },
      {
          "Sid": "DDCloudCostGetBill",
          "Effect": "Allow",
          "Action": [
              "s3:GetObject"
          ],
          "Resource": "arn:aws:s3:::BUCKETNAME/REPORT_PREFIX/REPORT_NAME/*"
      },
      {
          "Sid": "DDCloudCostCheckAccuracy",
          "Effect": "Allow",
          "Action": [
              "ce:Get*"
          ],
          "Resource": "*"
      },
      {
          "Sid": "DDCloudCostListCURs",
          "Action": [
              "cur:DescribeReportDefinitions"
          ],
          "Effect": "Allow",
          "Resource": "*"
      },
      {
          "Sid": "DDCloudCostListOrganizations",
          "Action": [
              "organizations:Describe*",
              "organizations:List*"
          ],
          "Effect": "Allow",
          "Resource": "*"
      }
  ]
}

Remarque : notez le nom de votre nouvelle stratégie, car vous en aurez besoin pour les prochaines étapes.

Associer la stratégie au rôle de l’intégration Datadog

Associez la nouvelle stratégie S3 au rôle de l’intégration Datadog.

1. Accédez à Roles depuis la console IAM d’AWS.
2. Repérez le rôle utilisé par l’intégration Datadog. Il est intitulé DatadogIntegrationRole par défaut, mais il est possible que votre organisation l’ait renommé. Cliquez sur le nom du rôle pour ouvrir une page de synthèse.
3. Cliquez sur Attach policies.
4. Saisissez le nom de la stratégie de compartiment S3 créée précédemment.
5. Cliquez sur Attach policy.

Remarque : après la génération d’un rapport complet sur les coûts et l’utilisation, il peut s’écouler entre 48 et 72 heures avant que toutes les données disponibles ne soient renseignées au sein de votre organisation Datadog. Passé ce délai, si aucune donnée n’est fournie, contactez l’[assitance Datadog][18].

Filtrage des comptes

Utilisez le filtrage des comptes pour contrôler les comptes de membre AWS qui doivent être importés dans Cloud Cost Management. Le filtrage des comptes n’entraîne pas de coûts supplémentaires dans Datadog.

L’utilisation du filtrage des comptes nécessite un compte de gestion AWS. Vous pouvez configurer les filtres de compte après avoir configuré un compte dans Cloud Cost Management.

Remarque : les filtres de compte ne sont pas pris en charge pour les recommandations ou la recherche de tags.

Configurer des filtres de compte pour un compte existant

Accédez à Cloud Cost > Settings, select Accounts, puis cliquez sur Manage Account pour le compte de gestion que vous souhaitez filtrer.

Cliquez sur Billing dataset pour accéder à l’interface de filtrage des comptes.

Types de coûts

Visualisez vos données ingérées à l’aide des types de coûts par défaut. Les différents types de coûts se distinguent principalement par la manière dont ils reflètent les réductions, les programmes de remise et les réservations.

On-demand

Les coûts On-demand représentent les coûts d’utilisation à la demande au tarif public publié par AWS. Ce tarif ne tient pas compte des programmes de remise, des réservations, des réductions, des taxes et des frais.

Remarque : dans la plupart des cas, les coûts à la demande ne permettent pas d’estimer de manière fiable les coûts réels.

Coûts Amortized et Unblended

Les métriques de coûts Amortized reflètent les économies liées à l’engagement sur toute la durée de l’escompte. C’est aussi ce qu’on appelle la base de régularisation, ou accrual basis. Les réservations et les programmes de remise sont établis à partir d’un engagement mensuel et appliqués directement à l’utilisation couverte, et ce en temps réel. Le solde inutilisé est comptabilisé sous forme de frais.

À l’inverse, les métriques de coûts Unblended représentent toutes les charges à la date à laquelle elles ont été encourues. C’est ce qu’on appelle aussi la base des coûts, ou cost basis. Les frais liés aux réservations et aux programmes de remise apparaissent à la date à laquelle ils ont été facturés et ne sont pas appliqués directement à l’utilisation couverte. Une fois les données de facturation d’un mois donné finalisées, les métriques unblended correspondent exactement à la facture AWS.

Coûts Net

Les coûts Net appliquent les réductions privées directement à l’utilisation. Le coût d’utilisation d’une ressource spécifique représente le coût effectif une fois toutes les économies appliquées.

À l’inverse, les autres métriques présentent les remises privées en tant que postes distincts, à valeur négative, sans tags d’attribution des ressources. Plutôt que d’attribuer les remises directement à l’utilisation, ces métriques les soustraient du coût total.

Les coûts Net Amortized offrent la représentation la plus juste de l’allocation des coûts, toutes les remises étant appliquées directement à l’utilisation. Ces métriques sont disponibles si des remises d’entreprise ont été négociées en privé pour votre compte AWS. Si votre compte ne possède pas de remise d’entreprise, les coûts Net Amortized et Amortized sont identiques.

Allocation des conteneurs

Les métriques Container allocation représentent les mêmes coûts que les métriques AWS, mais offrent des informations supplémentaires en fonction des charges de travail des conteneurs. Consultez la section Allocation des coûts des conteneurs pour en savoir plus.

Exemple

L’exemple qui suit illustre le comportement des différents types de coûts. Imaginons les conditions suivantes :

• Une instance EC2 qui s’exécute pendant une heure pour un coût de 3 $ par heure de calcul.
• Un programme de remise qui fait que ce type d’instance ne vous coûte que 2 $ par heure de calcul.
• Une remise EDP de 10 % qui vient s’ajouter à toutes les autres remises.

Voici comment le coût de l’instance, l’engagement horaire du programme de remise et les réductions sont représentés pour chaque type de coût :

Résumé des métriques de coûts

En règle générale :

• aws.cost.net.amortized.shared.resources.allocated offre la répartition des coûts la plus détaillée pour des charges de travail et des équipes spécifiques.
• Si vous ne bénéficiez pas de l’allocation des coûts en fonction des conteneurs, utilisez aws.cost.net.amortized.
• Si vous ne bénéficiez pas des coûts Net Amortized, utilisez aws.cost.amortized.shared.resources.allocated ou aws.cost.amortized.

Comment Datadog enrichit vos données de coûts AWS avec des tags

Datadog enrichit automatiquement vos données de coûts AWS en y ajoutant des tags provenant de plusieurs sources. Pour découvrir plus en détail comment les tags sont appliqués aux données de coûts, consultez la section Tags.

Les tags source suivants sont disponibles pour AWS :

• Colonnes du rapport de coûts et d’utilisation
• Tags des ressources AWS
• Tags du compte AWS
• Tags de l’intégration AWS
• Tags par défaut
• Tags des charges de travail des conteneurs
• Pipelines de tags

Colonnes du rapport de coûts et d’utilisation

Toutes les colonnes contenant des chaînes du Rapport de coût et d’utilisation AWS sont ajoutées en tant que tags aux métriques de coûts.

Pour plus de cohérence, Datadog normalise les clés de tags en utilisant des underscores et des minuscules. Par exemple, la colonne lineItem/ResourceId du rapport correspond à la clé de tag line_item/resource_id. Les valeurs des tags ne sont généralement pas modifiées : la casse et la plupart des caractères spéciaux restent tels quels.

Exemples :

Tags des ressources AWS

Les tags de ressources AWS sont des tags définis par l’utilisateur qui apparaissent dans la console AWS lorsque vous consultez une ressource spécifique, telle qu’une instance EC2 ou un compartiment S3.

Lorsque vous activez l’intégration AWS/Datadog, Datadog recueille automatiquement des tags de ressources pour la plupart des ressources AWS. Ces tags sont appliqués à l’ensemble des coûts figurant dans le rapport de coût et d’utilisation pour une ressource donnée. Les tags de ressources sont récupérés de façon périodique et appliqués aux données de coûts à partir du jour où ils ont été créés ou modifiés. Les valeurs historiques des tags ne sont pas supprimées lorsque les tags sont modifiés.

Si l’intégration AWS n’est pas configurée, vous pouvez activer l’ajout des tags de ressources en activant l’option Cost allocation tags dans la facturation AWS. Vous pourrez ainsi sélectionner les clés de tags de ressources à inclure en tant que colonnes dans le rapport de coût AWS. Datadog ajoute automatiquement ces colonnes en tant que tags lors du traitement du rapport.

Tags de l’organisation et du compte AWS

Les organisations AWS prennent en charge les tags définis par l’utilisateur sur les unités organisationnelles et les comptes. Datadog récupère et applique automatiquement ces tags aux données de coûts. Les tags de compte sont appliqués à toutes les utilisations associées à ces comptes. Les tags d’organisation sont appliqués à toutes les données de facturation pour le compte payeur correspondant.

L’intégration AWS/Datadog doit être configurée sur le compte de l’organisation.

Tags de l’intégration AWS

Les tags d’intégration AWS sont des tags définis depuis le carré de l’intégration AWS dans Datadog. Ils sont appliqués à l’ensemble des coûts figurant dans le rapport de coût et d’utilisation pour le compte AWS associé.

Tags par défaut

Datadog ajoute des tags par défaut aux données de coûts ingérées, vous permettant ainsi d’obtenir une vue plus détaillée de vos coûts et de mieux les décomposer. Ces tags sont issus de votre rapport de coûts et d’utilisation et vous permettent d’analyser vos données plus en profondeur.

Les tags par défaut suivants peuvent être utilisés pour filtrer et regrouper vos données :

Corrélation entre les coûts et les données d’observabilité

Visualiser les coûts à l’aide de données d’observabilité est essentiel pour comprendre l’impact des modifications apportées à l’infrastructure sur les coûts, déterminer les raisons pour lesquelles les coûts évoluent, et optimiser les coûts et performances de l’infrastructure. Datadog ajoute les tags d’identification de ressource aux données de coûts pour les principaux produits AWS, afin de simplifier la mise en corrélation des données d’observabilité et des métriques de coûts.

Par exemple, pour consulter l’utilisation et le coût de chaque base de données RDS, vous pouvez créer un tableau avec aws.cost.amortized, aws.rds.cpuutilization et aws.rds.freeable_memory (ou toute autre métrique RDS) et effectuer un regroupement en fonction de dbinstanceidentifier. Pour comparer visuellement les données d’utilisation et de coût Lambda, vous pouvez représenter aws.lambda.concurrent_executions et aws.cost.amortized au sein d’un graphique, en effectuant un regroupement selon functionname.

Les tags par défaut suivants sont disponibles :

Orchestrateurs de conteneurs

La fonctionnalité d’allocation des coûts en fonction des conteneurs ajoute des tags issus des charges de travail qui génèrent des coûts. Il peut par exemple s’agir des tags associés aux pods et aux nœuds Kubernetes, ainsi qu’aux tâches et aux conteneurs ECS.

Nécessite l’Allocation des coûts des conteneurs et s’applique uniquement aux métriques shared.resources.allocated.

Pipelines de tags

Enfin, tous les ensembles de règles de votre pipeline de tags sont appliqués, ce qui permet une allocation complète des coûts lorsque l’ajout de tags d’infrastructure n’est pas possible. Les pipelines de tags constituent la dernière étape d’enrichissement : ils ajoutent de nouveaux tags à vos données de coûts.

Billing Conductor

AWS Billing Conductor est un service de facturation personnalisé destiné aux partenaires de distribution d’AWS Marketplace et aux organisations qui ont des exigences en matière de rétrofacturation. Billing Conductor permet aux clients de créer une deuxième version pro forma de leurs coûts à partager avec leurs clients ou les propriétaires de comptes. Les taux de facturation, les crédits et les frais, ainsi que les frais généraux, peuvent être personnalisés à votre guise. Vous pouvez également sélectionner les comptes à inclure dans le rapport sur les coûts et l’utilisation.

Limitations importantes :

• Les rapports sur les coûts et d’utilisation pro forma n’incluent pas les remises ni les taxes, ce qui rend difficile la comparaison des coûts dans Datadog avec ceux dans l’AWS Cost Explorer.
• L’ajout de comptes à un groupe de facturation a une incidence sur la manière dont les réservations et les programmes de remise sont partagés entre les comptes AWS.

Pour créer un rapport à l’aide du conducteur de facturation, suivez les instructions figurant dans le guide d’utilisation des rapports de coûts et d’utilisation AWS. Assurez-vous que le rapport répond aux exigences de Datadog. Une fois le rapport créé à l’aide du conducteur de facturation, suivez les instructions relatives à la solution Cloud Cost Management ci-dessus pour la configurer dans Datadog.

Pour aller plus loin

Documentation, liens et articles supplémentaires utiles:

Cloud Cost ManagementDOCUMENTATION Mieux comprendre votre facture AzureDOCUMENTATION Mieux comprendre votre facture Google CloudDOCUMENTATION Mieux comprendre votre facture OracleDOCUMENTATION