Data Observability 개요

이 번역은 최신 버전이 아닙니다. 최신 영문 버전을 보려면 여기를 클릭하세요.
이 제품은 선택한 Datadog 사이트에서 지원되지 않습니다. ().

개요

Data Observability(DO)는 데이터 팀이 분석 및 AI 애플리케이션을 위한 데이터 신뢰성을 개선하고, 데이터 파이프라인의 성능과 비용을 최적화하도록 돕습니다. 프로덕션에서 소비에 이르기까지 품질 및 작업 모니터링을 통합함으로써 팀은 비용과 성능을 최적화하면서 문제를 더 빠르게 탐지하고 해결할 수 있습니다.

Spark 작업 트레이스를 포함한 Datadog Data Observability 엔드투엔드 계보.

주요 기능

  • 조기 실패 탐지: ML 기반 모니터링을 통해 대시보드, 이해관계자 또는 AI 모델이 영향을 받기 전에 Snowflake, Databricks 및 BigQuery와 같은 웨어하우스에서 잘못된 데이터를 포착합니다. Databricks, Spark, Airflow 또는 dbt에서 실행되는 작업의 업스트림 파이프라인 실패를 탐지합니다.
  • 해결 가속화: 엔드투엔드 계보를 사용해 문제를 더 빠르게 분류함으로써 근본 원인을 정확히 찾아내고, 인시던트 영향 범위를 평가하며, 적절한 소유자에게 라우팅합니다. 파이프라인에서 어떤 작업이 실패했거나 지연되었는지 확인하고, 작업 실행 트레이스와 로그로 전환하여 원인을 파악합니다.
  • 비용 및 성능 최적화: Spark 및 Databricks 작업과 클러스터의 비용 및 효율성에 대한 가시성을 확보하고, 권장 사항을 활용하여 클러스터 구성, 코드 및 쿼리를 최적화합니다.
  • 엔드투엔드 관측 가능성 통합: 전체 데이터 수명 주기에 걸쳐 데이터 품질, 파이프라인 실행 및 인프라 신호를 한곳에서 상호 연관시킵니다.

시작하기

Data Observability는 다음과 같이 구성됩니다.


추가 자료

추가적인 유용한 설명서, 링크 및 기사:

Datadog, Metaplane 인수를 통해 데이터 팀에 Data Observability 제공블로그 more more Datadog으로 Google Cloud AI 스택 평가, 최적화 및 보안 강화블로그 more more 데이터 파이프라인 모니터링 101: 데이터 스택 전반에서 상태 및 성능 추적하기블로그 more more