Amazon Redshift
Rapport de recherche Datadog : Bilan sur l'adoption de l'informatique sans serveur Rapport : Bilan sur l'adoption de l'informatique sans serveur

Amazon Redshift

Crawler Crawler

Présentation

Amazon Redshift est un service d’entrepôt de données entièrement géré qui stocke des pétaoctets de données et simplifie et rentabilise l’analyse de toutes vos données.

Activez cette intégration pour visualiser dans Datadog toutes vos métriques de Redshift.

Implémentation

Installation

Si vous ne l’avez pas déjà fait, configurez d’abord l’intégration Amazon Web Services.

Collecte de métriques

  1. Dans le carré d’intégration AWS, assurez-vous que l’option Redshift est cochée dans la section concernant la collecte des métriques.
  2. Ajoutez ces autorisations à votre stratégie IAM Datadog afin de recueillir des métriques d’Amazon Redshift :

    • redshift:DescribeClusters : répertorie tous les clusters Redshift de votre compte.
    • redshift:DescribeLoggingStatus : récupère le compartiment S3 au sein duquel sont stockés les logs Redshift.
    • tag:GetResources : récupère les tags personnalisés sur vos clusters Redshift.

    Pour en savoir plus sur les stratégies Redshift, consultez la documentation disponible sur le site d’AWS.

  3. Installez l’intégration Datadog/AWS Redshift.

Collecte de logs

Activer la journalisation AWS Redshift

Commencez par activer la journalisation sur votre cluster Redshift pour recueillir vos logs. Les logs Redshift peuvent être écrits dans un compartiment AWS S3 et lus par une fonction Lambda. Pour en savoir plus, consultez la documentation AWS

Envoyer des logs à Datadog

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.
  2. Une fois la fonction Lambda installée, vous pouvez recueillir vos logs Redshift de deux façons :

Étapes de l’installation manuelle

  1. Si vous ne l’avez pas déjà fait, configurez la fonction Lambda de collecte de logs AWS avec Datadog.
  2. Une fois la fonction Lambda installée, ajoutez manuellement un déclencheur sur le compartiment S3 contenant vos logs Redshift dans la console AWS. Dans votre Lambda, cliquez sur S3 dans la liste des déclencheurs :Configurez votre déclencheur en choisissant le compartiment S3 qui contient vos logs Redshift et remplacez le type d’événement par Object Created (All). Cliquez ensuite sur le bouton Add.

Accédez ensuite à la section Log de Datadog pour commencer à explorer vos logs !

Données collectées

Métriques

aws.redshift.commit_queue_length
(count)
The number of transactions ahead of a transaction in the commit queue.
Shown as transaction
aws.redshift.concurrency_scaling_active_clusters
(count)
The number of concurrency scaling clusters that are actively processing queries at any given time.
aws.redshift.concurrency_scaling_seconds
(gauge)
The number of seconds used by concurrency scaling clusters that have active query processing activity.
Shown as second
aws.redshift.cpuutilization
(gauge)
The percentage of CPU utilization. For clusters, this metric represents an aggregation of all nodes (leader and compute) CPU utilization values.
Shown as percent
aws.redshift.database_connections
(gauge)
The number of database connections to a cluster.
Shown as connection
aws.redshift.health_status
(gauge)
Indicates the health of the cluster. 1 indicates healthy, and 0 indicates unhealthy.
aws.redshift.maintenance_mode
(gauge)
Indicates whether the cluster is in maintenance mode. 1 indicates on, and 0 indicates off.
aws.redshift.max_configured_concurrency_scaling_clusters
(count)
The maximum number of concurrency scaling clusters configured from the parameter group.
aws.redshift.network_receive_throughput
(rate)
The rate at which the node or cluster receives data.
Shown as byte
aws.redshift.network_transmit_throughput
(rate)
The rate at which the node or cluster writes data.
Shown as byte
aws.redshift.percentage_disk_space_used
(gauge)
The percent of disk space used.
Shown as percent
aws.redshift.queries_completed_per_second
(count)
The average number of queries completed per second. Reported in five-minute intervals.
Shown as query
aws.redshift.query_duration
(gauge)
The average amount of time to complete a query. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.query_runtime_breakdown
(gauge)
AWS Redshift query runtime breakdown
aws.redshift.read_iops
(rate)
The average number of disk read operations per second.
Shown as operation
aws.redshift.read_latency
(gauge)
The average amount of time taken for disk read I/O operations.
Shown as second
aws.redshift.read_throughput
(rate)
The average number of bytes read from disk per second.
Shown as byte
aws.redshift.total_table_count
(count)
The number of user tables open at a particular point in time. This total does not include Spectrum tables.
Shown as table
aws.redshift.wlmqueries_completed_per_second
(count)
The average number of queries completed per second for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as query
aws.redshift.wlmquery_duration
(gauge)
The average length of time to complete a query for a workload management (WLM) queue. Reported in five-minute intervals.
Shown as microsecond
aws.redshift.wlmqueue_length
(count)
The number of queries waiting to enter a workload management (WLM) queue.
Shown as query
aws.redshift.wlmqueue_wait_time
(gauge)
The total time queries spent waiting in the workload management (WLM) queue.
Shown as millisecond
aws.redshift.wlmrunning_queries
(count)
The number of queries running from both the main cluster and Concurrency Scaling cluster per WLM queue.
Shown as query
aws.redshift.write_iops
(rate)
The average number of write operations per second.
Shown as operation
aws.redshift.write_latency
(gauge)
The average amount of time taken for disk write I/O operations.
Shown as second
aws.redshift.write_throughput
(rate)
The average number of bytes written to disk per second.
Shown as byte

Chacune des métriques récupérées à partir d’AWS se verra assigner les mêmes tags que ceux qui apparaissent dans la console AWS, y compris, mais sans s’y limiter, le hostname et les groupes de sécurité.

Événements

L’intégration AWS Redshift n’inclut aucun événement.

Checks de service

L’intégration AWS Redshift n’inclut aucun check de service.

Dépannage

Besoin d’aide ? Contactez l’assistance Datadog.