Archive Logs
Archive Logs テンプレートを使用して、クラウドストレージソリューション (Amazon S3、Google Cloud Storage、または Azure Storage) にログを保存します。アーカイブされたログは Datadog で再ハイドレート可能な形式で保存されるため、必要に応じて Datadog で再ハイドレートできます。これは次のような場合に役立ちます。
- ノイズを含むログが大量にあって、調査のために随時 Datadog Log Management でインデックス化が必要な場合。
- Datadog Log Management への移行しており、移行完了後に履歴ログを保持したい場合。
- コンプライアンス要件を満たすために保持ポリシーがあるが、それらのログを必ずしもインデックス化する必要がない場合。
Dual Ship Logs
組織の成長に伴い、セキュリティ、アーカイブ、ログ管理など、さまざまなユースケースに対するオブザーバビリティのニーズも変化します。これは、さまざまなアーカイブ、SIEM、ログ管理ソリューションを試す必要があることを意味する場合があります。しかし、異なるソリューションへのログパイプラインを管理するのは複雑になる可能性があります。Dual Ship Logs テンプレートを使用してログを異なる送信先に送信することで、本番環境への影響を最小限に抑えながら、さまざまなツールやワークフローを評価できます。
ログベースのメトリクスを生成する
ファイアウォールやネットワークアプライアンスなど、一部のログソースは、保存する必要のないログデータを含む大量のログイベントを生成します。多くの場合、必要なのはログの要約と履歴データとの比較のみです。ログベースのメトリクスも、取り込みストリーム全体のログデータを要約するためのコスト効率の高い方法です。Generate Metrics テンプレートを使用すると、クエリに一致するログからカウント、ゲージ、またはディストリビューションメトリクスを生成できます。
利用可能なメトリクスタイプは以下の通りです。
| メトリクスタイプ | 説明 | 例 |
|---|
| COUNT | 1 つの時間間隔におけるイベントの発生回数の合計。ゼロにリセットすることはできますが、減らすことはできません。 | status:error のログの数をカウントする。 |
| GAUGE | 報告された時点での値のスナップショット。 | ホストごとの最新の CPU 使用率を追跡する場合。 |
| DISTRIBUTION | メトリクスを報告するすべてのホストにわたってグローバルにパーセンタイル集計 (p95、p99 など) をサーバー側で計算するために Datadog に送信される生の値。 | 1 つの API エンドポイントを提供するすべてのホストにわたる response_time_seconds のグローバル p95 を取得する場合。 |
Log Enrichment
組織のさまざまなサービス、システム、アプリケーションはすべて、情報のレイヤーを含み、異なる形式のログを生成します。これらのログを管理するには、形式を標準化し、検索や分析を容易にするために情報を追加することが必要な場合があります。たとえば、各ログソースには独自の形式があります。これらが再フォーマットおよび標準化されていない場合、調査で検索や分析が困難になる可能性があります。また、顧客 ID や IP アドレスなど、ログに情報を追加したい場合もあります。
Log Volume Control
生のログはノイズが多く、調査で検索や分析に役立つログはごく一部です。Log Volume Control テンプレートを使用すると、SIEM やログ管理ソリューションなどのインデックス化されたソリューションに送信するログを判断できます。これは、インデックス化されたログの価値を高め、計画された予算内に収めるのに役立ちます。
Sensitive Data Redaction
クレジットカード番号、銀行のルーティング番号、API キーなどの機密データが、ログに意図せず記録されることで、組織が金銭的およびプライバシーのリスクにさらされる可能性があります。
Sensitive Data Redaction テンプレートを使用すると、オンプレミスで機密情報を検出し、マスキングできます。Observability Pipelines の機密データスキャナープロセッサーは、70 種類のすぐに使えるスキャンルールを提供しますが、正規表現を使用して独自のカスタムスキャンルールを作成することもできます。すぐに使えるルールは、クレジットカード番号、メールアドレス、IP アドレス、API キー、SSH キー、アクセストークンなどの標準的なパターンを認識します。
Split Logs
異なるサービスやアプリケーションからのログがある場合、クエリ、分析、アラートのために、それらを異なるダウンストリームサービスに送信することが必要な場合があります。たとえば、セキュリティログは SIEM ソリューションに、DevOps ログは Datadog に送信したい場合があります。Split Logs テンプレートを使用すると、ログをダウンストリームに送信する前に、各送信先に対して個別に前処理を行うことができます。
Metric Tag Governance
メトリクスは、環境に関するシグナルを収集し、システムの健全性、ビジネスワークフロー、およびセキュリティアクティビティに関する洞察を提供します。これらのメトリクスは、さまざまなアプリケーション、ネットワークデバイス、およびノードから送信されますが、個々のメトリクスの価値は大きく異なる場合があります。
メトリクスの品質と量を管理するために、Metric Tag Governance テンプレートを使用して、Observability Pipelines でそれらを処理してから送信先に送信してください。プロセッサーを使用して、必要なメトリクスのみを保持し、メトリクスのタグ付けを標準化し、不要なタグを削除してカーディナリティが高くなるのを防ぐことができます。
