Airbyte

Supported OS Linux Windows Mac OS

インテグレーションバージョン1.0.0

概要

このチェックは Airbyte を監視します。メトリクスは DogStatsD 経由で Datadog に送信されます。

セットアップ

インストール

Airbyte インテグレーションを正しく動作させるには、以下の手順をすべて実施する必要があります。開始前に、StatsD/DogStatsD のマッピング機能を含む Datadog Agent をインストールし、バージョン >=6.17 または >=7.17 を使用してください。

設定

Airbyte デプロイメントを Datadog にメトリクスを送信するよう設定します。
Datadog Agent のメイン設定ファイル datadog.yaml に、次の設定を追加します:

dogstatsd_mapper_profiles:
  - name: airbyte_worker
    prefix: "worker."
    mappings:
      - match: "worker.temporal_workflow_*"
        name: "airbyte.worker.temporal_workflow.$1"
      - match: "worker.worker_*"
        name: "airbyte.worker.$1"
      - match: "worker.state_commit_*"
        name: "airbyte.worker.state_commit.$1"
      - match: "worker.job_*"
        name: "airbyte.worker.job.$1"
      - match: "worker.attempt_*"
        name: "airbyte.worker.attempt.$1"
      - match: "worker.activity_*"
        name: "airbyte.worker.activity.$1"
      - match: "worker.*"
        name: "airbyte.worker.$1"
  - name: airbyte_cron
    prefix: "cron."
    mappings:
      - match: "cron.cron_jobs_run"
        name: "airbyte.cron.jobs_run"
      - match: "cron.*"
        name: "airbyte.cron.$1"
  - name: airbyte_metrics_reporter
    prefix: "metrics-reporter."
    mappings:
      - match: "metrics-reporter.*"
        name: "airbyte.metrics_reporter.$1"
  - name: airbyte_orchestrator
    prefix: "orchestrator."
    mappings:
      - match: "orchestrator.*"
        name: "airbyte.orchestrator.$1"
  - name: airbyte_server
    prefix: "server."
    mappings:
      - match: "server.*"
        name: "airbyte.server.$1"
  - name: airbyte_general
    prefix: "airbyte."
    mappings:
      - match: "airbyte.worker.temporal_workflow_*"
        name: "airbyte.worker.temporal_workflow.$1"
      - match: "airbyte.worker.worker_*"
        name: "airbyte.worker.$1"
      - match: "airbyte.worker.state_commit_*"
        name: "airbyte.worker.state_commit.$1"
      - match: "airbyte.worker.job_*"
        name: "airbyte.worker.job.$1"
      - match: "airbyte.worker.attempt_*"
        name: "airbyte.worker.attempt.$1"
      - match: "airbyte.worker.activity_*"
        name: "airbyte.worker.activity.$1"
      - match: "airbyte.cron.cron_jobs_run"
        name: "airbyte.cron.jobs_run"

Agent を再起動し、Airbyte も再起動します。

収集データ

メトリクス


airbyte.cron.jobs_run (count)	CRON タイプごとの CRON 実行回数
airbyte.cron.workflows_healed (count)	自己修復 CRON が修復したワークフロー数
airbyte.metrics_reporter.est_num_metrics_emitted_by_reporter (count)	直近の間隔で reporter が出力したメトリクスの推定数。件数が厳密ではないため、あくまで推定値です。
airbyte.metrics_reporter.num_orphan_running_jobs (gauge)	実行中として報告されているジョブのうち、非アクティブまたは非推奨の connection に紐づくジョブ数単位は job
airbyte.metrics_reporter.num_pending_jobs (gauge)	保留中のジョブ数単位は job
airbyte.metrics_reporter.num_running_jobs (gauge)	実行中のジョブ数単位は job
airbyte.metrics_reporter.num_total_scheduled_syncs_last_day (gauge)	過去 1 日間に実行された sync ジョブ総数単位は job
airbyte.metrics_reporter.num_unusually_long_syncs (gauge)	過去の実績と比べて異常に長い sync ジョブ数単位は job
airbyte.metrics_reporter.oldest_pending_job_age_secs (gauge)	最も古い保留中ジョブの経過時間 (秒) 単位は second
airbyte.metrics_reporter.oldest_running_job_age_secs (gauge)	最も古い実行中ジョブの経過時間 (秒) 単位は second
airbyte.orchestrator.source_hearbeat_failure (count)	ソースから heartbeat が届かないことによるレプリケーション失敗回数
airbyte.server.breaking_change_detected (count)	破壊的なスキーマ変更が検出された回数
airbyte.server.schema_change_auto_propagated (count)	反映されたスキーマ変更数。
airbyte.worker.activity.check_connection (count)	check connection アクティビティの開始回数単位は connection
airbyte.worker.activity.dbt_transformation (count)	DBT transformation アクティビティの開始回数。
airbyte.worker.activity.discover_catalog (count)	discover catalog アクティビティの開始回数。
airbyte.worker.activity.failure (count)	アクティビティ失敗回数。activity タグで区別されます。
airbyte.worker.activity.normalization (count)	normalization アクティビティの開始回数。
airbyte.worker.activity.normalization_summary_check (count)	normalization summary check アクティビティの開始回数。
airbyte.worker.activity.refresh_schema (count)	refresh schema アクティビティの開始回数。
airbyte.worker.activity.replication (count)	replication アクティビティの開始回数。
airbyte.worker.activity.spec (count)	spec アクティビティの開始回数。
airbyte.worker.activity.submit_check_destination_connection (count)	submit check connection アクティビティの開始回数単位は connection
airbyte.worker.activity.submit_check_source_connection (count)	submit check connection アクティビティの開始回数単位は connection
airbyte.worker.activity.webhook_operation (count)	webhook operation アクティビティの開始回数。
airbyte.worker.attempt.completed (count)	完了した新規 attempt 数。attempt ごとに 1 件記録されます。単位は attempt
airbyte.worker.attempt.created (count)	作成された新規 attempt 数。attempt ごとに 1 件記録されます。単位は attempt
airbyte.worker.attempt.created_by_release_stage (count)	新規 attempt の作成数。release stage のタグが付くため、attempt は重複カウントされます。単位は attempt
airbyte.worker.attempt.failed_by_failure_origin (count)	失敗した attempt が持つ failure origin の件数。1 つの失敗に複数の origin があり得るため、同じ失敗が複数回カウントされる場合があります。failure origin と failure type のタグで区別されます。単位は attempt
airbyte.worker.attempt.failed_by_release_stage (count)	失敗した attempt 数。release stage のタグが付くため、attempt は重複カウントされます。単位は attempt
airbyte.worker.attempt.succeeded_by_release_stage (count)	成功した attempt 数。release stage のタグが付くため、attempt は重複カウントされます。単位は attempt
airbyte.worker.destination_buffer_size (gauge)	レプリケーション worker の destination buffer queue サイズ単位は record
airbyte.worker.destination_message_read (count)	destination から読み取られたメッセージ数単位は message
airbyte.worker.destination_message_sent (count)	destination に送信されたメッセージ数単位は message
airbyte.worker.job.cancelled_by_release_stage (count)	キャンセルされたジョブ数。release stage のタグが付くため、ジョブは重複カウントされます。単位は job
airbyte.worker.job.created_by_release_stage (count)	作成された新規ジョブ数。release stage のタグが付くため、ジョブは重複カウントされます。単位は job
airbyte.worker.job.failed_by_release_stage (count)	失敗したジョブ数。release stage のタグが付くため、ジョブは重複カウントされます。単位は job
airbyte.worker.job.succeeded_by_release_stage (count)	成功したジョブ数。release stage のタグが付くため、ジョブは重複カウントされます。単位は job
airbyte.worker.notifications_sent (count)	送信された通知数
airbyte.worker.replication_bytes_synced (count)	レプリケーション中に同期されたバイト数単位は byte
airbyte.worker.replication_records_synced (count)	レプリケーション中に同期されたレコード数単位は record
airbyte.worker.source_buffer_size (gauge)	レプリケーション worker の source buffer queue サイズ単位は record
airbyte.worker.source_message_read (count)	source から読み取られたメッセージ数単位は message
airbyte.worker.state_commit.close_successful (count)	connection の終了時に、最終 state flush が正常に完了した回数
airbyte.worker.state_commit.not_attempted (count)	早期終了により state commit が試みられなかった回数単位は attempt
airbyte.worker.temporal_workflow.attempt (count)	temporal workflow の attempt 数単位は attempt
airbyte.worker.temporal_workflow.failure (count)	temporal workflow の失敗回数
airbyte.worker.temporal_workflow.success (count)	temporal workflow の正常な sync 回数単位は success

サービスチェック

Airbyte チェックにはサービスチェックは含まれません。

イベント

Airbyte チェックにはイベントは含まれません。

トラブルシューティング

サポートが必要な場合は、Datadog サポートにお問い合わせください。