Amazon Redshift

Présentation

Amazon Redshift est un service d’entrepôt de données entièrement géré qui stocke des pétaoctets de données et simplifie et rentabilise l’analyse de toutes vos données.

Activez cette intégration pour visualiser dans Datadog toutes vos métriques de Redshift.

Configuration

Installation

Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Amazon Web Services.

Collecte de métriques

  1. Dans la page de l’intégration AWS, vérifiez que Redshift est activé dans l’onglet Metric Collection.

  2. Ajoutez ces autorisations à votre stratégie IAM Datadog afin de recueillir des métriques d’Amazon Redshift :

    • redshift:DescribeClusters : répertorie tous les clusters Redshift de votre compte.
    • redshift:DescribeLoggingStatus : récupère le compartiment S3 au sein duquel sont stockés les logs Redshift.
    • tag:GetResources : récupère les tags personnalisés sur vos clusters Redshift.

    Pour en savoir plus, consultez la section relative aux stratégies Redshift de la documentation AWS.

  3. Installez l’intégration Datadog/AWS Redshift.

Collecte de logs

Activer le logging

Commencez par activer la journalisation sur votre cluster Redshift pour recueillir vos logs. Les logs Redshift peuvent être écrits dans un compartiment AWS S3 et lus par une fonction Lambda. Pour en savoir plus, consultez Configuration de l’audit à l’aide de la console.

Envoyer des logs à Datadog

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda du Forwarder Datadog dans votre compte AWS.

  2. Une fois la fonction Lambda installée, vous pouvez recueillir vos logs Redshift de deux façons :

    • Solution automatique : les logs Redshift sont automatiquement gérés si vous accordez les autorisations nécessaires à Datadog. Consultez la section Configurer automatiquement des déclencheurs pour en savoir plus sur la configuration de la collecte automatique de logs sur la fonction Lambda du Forwarder Datadog.
    • Solution manuelle : dans la console AWS, ajoutez un déclencheur sur le compartiment S3 qui contient vos logs Redshift. Consultez les étapes de l’installation manuelle.

Étapes de l’installation manuelle

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda du Forwarder Datadog dans votre compte AWS.
  2. Une fois configuré, accédez à la fonction Lambda du Forwarder Datadog. Dans la section Présentation de Functions, cliquez sur Add Trigger.
  3. Sélectionnez le déclencheur S3 pour la Trigger Configuration.
  4. Sélectionnez le compartiment S3 où se trouvent vos logs Redshift.
  5. Ne changez pas le type d’événements All object create events.
  6. Cliquez sur Add pour ajouter le déclencheur à votre fonction Lambda.

Accédez au Log Explorer pour commencer à explorer vos logs.

Pour en savoir plus sur la collecte de logs de services AWS, consultez la section Envoyer des logs de services AWS avec la fonction Lambda Datadog.

Données collectées

Métriques

aws.redshift.commit_queue_length
(count)
The number of transactions ahead of a transaction in the commit queue.
Shown as transaction
aws.redshift.concurrency_scaling_active_clusters
(count)
The number of concurrency scaling clusters that are actively processing queries at any given time.
aws.redshift.concurrency_scaling_seconds
(gauge)
The number of seconds used by concurrency scaling clusters that have active query processing activity.
Shown as second
aws.redshift.cpuutilization
(gauge)
The percentage of CPU utilization. For clusters, this metric represents an aggregation of all nodes (leader and compute) CPU utilization values.
Shown as percent
aws.redshift.database_connections
(gauge)
The number of database connections to a cluster.
Shown as connection
aws.redshift.health_status
(gauge)
Indicates the health of the cluster. 1 indicates healthy, and 0 indicates unhealthy.
aws.redshift.maintenance_mode
(gauge)
Indicates whether the cluster is in maintenance mode. 1 indicates on, and 0 indicates off.
aws.redshift.max_configured_concurrency_scaling_clusters
(count)
The maximum number of concurrency scaling clusters configured from the parameter group.
aws.redshift.network_receive_throughput
(rate)
The rate at which the node or cluster receives data.
Shown as byte
aws.redshift.network_transmit_throughput
(rate)
The rate at which the node or cluster writes data.
Shown as byte
aws.redshift.num_exceeded_schema_quotas
(count)
The number of schemas with exceeded quotas.
aws.redshift.percentage_disk_space_used
(gauge)
The percent of disk space used.
Shown as percent
aws.redshift.percentage_quota_used
(gauge)
The percentage of disk or storage space used relative to the configured schema quota.
Shown as percent
aws.redshift.queries_completed_per_second
(count)
The average number of queries completed per second. Reported in five-minute intervals.
Shown as query
aws.redshift.query_duration
(gauge)
The average amount of time to complete a query. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.query_runtime_breakdown
(gauge)
AWS Redshift query runtime breakdown
aws.redshift.read_iops
(rate)
The average number of disk read operations per second.
Shown as operation
aws.redshift.read_latency
(gauge)
The average amount of time taken for disk read I/O operations.
Shown as second
aws.redshift.read_throughput
(rate)
The average number of bytes read from disk per second.
Shown as byte
aws.redshift.schema_quota
(gauge)
The configured quota for a schema.
Shown as byte
aws.redshift.storage_used
(gauge)
The disk or storage space used by a schema.
Shown as byte
aws.redshift.total_table_count
(count)
The number of user tables open at a particular point in time. This total does not include Spectrum tables.
Shown as table
aws.redshift.wlmqueries_completed_per_second
(count)
The average number of queries completed per second for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as query
aws.redshift.wlmquery_duration
(gauge)
The average length of time to complete a query for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.wlmqueue_length
(count)
The number of queries waiting to enter a workload management (WLM) queue.
Shown as query
aws.redshift.wlmqueue_wait_time
(gauge)
The total time queries spent waiting in the workload management (WLM) queue.
Shown as millisecond
aws.redshift.wlmrunning_queries
(count)
The number of queries running from both the main cluster and Concurrency Scaling cluster per WLM queue.
Shown as query
aws.redshift.write_iops
(rate)
The average number of write operations per second.
Shown as operation
aws.redshift.write_latency
(gauge)
The average amount of time taken for disk write I/O operations.
Shown as second
aws.redshift.write_throughput
(rate)
The average number of bytes written to disk per second.
Shown as byte

Chacune des métriques récupérées à partir d’AWS se voit assigner les mêmes tags que ceux qui apparaissent dans la console AWS, y compris, mais sans s’y limiter, le hostname et les groupes de sécurité.

Événements

L’intégration AWS Redshift n’inclut aucun événement.

Checks de service

L’intégration AWS Redshift n’inclut aucun check de service.

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.