アーキテクチャ

CloudPrem Preview に参加すると、新しいセルフホスト型のログ管理機能を利用できます。

概要

CloudPrem は、コンピュート (インデックス化と検索) とデータをオブジェクトストレージ上で切り分ける疎結合のアーキテクチャを採用しています。これにより、ワークロードに応じてクラスター内の各コンポーネントを個別にスケールさせたり、最適化したりできます。

CloudPrem クラスターは、通常 Kubernetes (EKS) 上にデプロイされ、主に次のコンポーネントで構成されます:

Indexers: Datadog Agent からログを受け取ります。受信したログを処理・インデックス化し、splits と呼ばれるインデックスファイルとしてオブジェクトストレージ (例: Amazon S3) に保存します。
Searchers: Datadog UI からの検索クエリを処理します。Metastore からメタデータを読み取り、必要なデータをオブジェクトストレージから取得します。
Metastore: インデックスに関するメタデータを保存します。オブジェクトストレージ上の split の保存場所もここで管理します。CloudPrem は、この用途に PostgreSQL を使用します。
Control Plane: indexing pipelines と呼ばれるインデックス化ジョブを Indexer 上でスケジュールします。
Janitor: 保持ポリシーの適用、期限切れ split のガーベッジコレクション、削除クエリジョブの実行など、保守タスクを担います。

Datadog UI を CloudPrem に接続する方法は 2 つあります:

リバース接続: CloudPrem 側から Datadog に対して双方向の gRPC リクエストを開始します。
Datadog からの外部リクエストを受け付ける: gRPC リクエスト用の DNS エンドポイントを Datadog に提供し、それを受け付けるパブリック Ingress を構成します。