This product is not supported for your selected
Datadog site. (
).
概要
オブジェクトストレージ (Amazon S3、Google Cloud Storage、Azure Blob Storage) では、保存データと API リクエストの両方に課金されます。このページでは、インデクサーおよびコンパクターによって書き込みパス上で生成される PUT リクエストを推定します。
インデクサー
各インデクサーは、vCPU ごとに 1 つずつ、複数のインデックス化パイプラインを実行します。30 秒ごと (デフォルトのコミットタイムアウト) に、各パイプラインは 1 つのインデックスファイル (スプリット) をオブジェクトストレージにアップロードします。
$$\text"splits per pipeline per day" = {86400} / 30 = 2880$$
4 vCPU のインデクサーは 4 つのパイプラインを実行するため、1 日あたり 11,520 個のスプリットをアップロードします。
スプリットは圧縮されたデータ (3 倍以上) を保存します。一般的なボリュームでは、128 MiB のマルチパートしきい値を下回るため、単一の PUT リクエストとしてアップロードされます。より大きなスプリットはマルチパートアップロードを使用するため、3 回以上の PUT リクエストが必要になります。
コンパクター
コンパクターは、3 つの世代 (第 1 世代、第 2 世代、第 3 世代) にわたって繰り返し 10 個のスプリットを 1 つにマージします。マージされたスプリットは大きく (1 GB 超)、マルチパートアップロードを使用するため、それぞれ 3 回以上の PUT リクエストが必要になります。
10:1 のファンインにより、各世代で生成されるスプリットは前の世代の 10 分の 1 になります。合計すると、コンパクションによって追加されるのは、インデクサースプリットの PUT リクエストの約 3 分の 1 です。
リクエストの推定
以下の推定は、次を前提としています。
- インデクサー vCPU あたり 8 MB/s。つまり、4 vCPU のインデクサーは 32 MB/s または 1 日あたり約 2.8 TB を維持します。クラスターサイジング を参照してください。
- インデクサーあたり 4 つのインデックス化パイプライン、デフォルトのコミットタイムアウトは 30 秒です。
- PUT 料金は 1,000 リクエストあたり $0.005 (S3 Standard、
us-east-1)
各インデクサーは 1 日あたり 11,520 個のスプリットをアップロードします。コンパクションによって約 3 分の 1 が追加され、インデクサー 1 つあたり 1 日合計**～ 15,360 件の PUT リクエスト**:
| 1 日のデータ量 | インデクサー (各 4 vCPU) | 1 日あたりの合計 PUT リクエスト数 | 月あたりの概算 PUT コスト |
|---|
| 1 TB/日 | 1 | ～ 15,000 | ～ $2 |
| 10 TB/日 | 4 | ～ 61,000 | ～ $9 |
| 100 TB/日 | 37 | ～ 568,000 | ～ $85 |
PUT リクエスト数は、生の取り込み量ではなくパイプライン数とコミット間隔に応じてスケールします。コミットタイムアウトを (例: 60 秒に) 引き上げると、リクエスト数はほぼ半分になりますが、その代償として検索レイテンシーが増加します。
参考資料
