Superwise는 대규모 머신 러닝(ML) 작업을 위한 모델 통합 가시성을 제공합니다.
Superwise의 모델 통합 가시성은 모델 행동에 대한 가시성과 컨텍스트를 제공하므로 다양한 사용 사례에 따라 모니터 모델 위험을 쉽게 파악할 수 있습니다. Superwise를 사용하면 데이터 과학자, ML 엔지니어, 비즈니스 운영팀이 알림 피로 없이 모델 통합 가시성을 확보할 수 있으므로 자신감 있게 모델을 관리할 수 있습니다.
Superwise의 모델 메트릭 및 인시던트 통합은 드리프트, 활동, 인시던트, 사용자 지정 메트릭을 포함한 기본 제공 모델 메트릭을 Datadog로 직접 전송합니다. 어떤 모델이 예상 결과를 예측하지 못하는지, 어떤 용도로 구성할 수 있는지 케이스, 논리, 세분화, 임계값 및 감도에 대한 개요를 확인할 수 있습니다.
Superwise에서 구성된 Datadog 통합을 사용하면 표준 모델 메트릭이 Datadog로 전송되고 사용자는 Datadog에서 모델 통합 가시성 대시보드를 볼 수 있습니다. 특정 모델 메트릭과 인시던트 정책을 구성하고 Datadog로 전송하여 사용량에 맞는 모델 통합 가시성 사례을 얻을 수 있습니다.
Datadog API와 애플리케이션 키를 입력하고 Test를 클릭합니다. 테스트 요청이 Datadog 계정으로 전송되어 연동을 확인합니다. 요청이 성공적으로 전송되면 Superwise에 테스트 메시지가 성공적으로 전달되었다는 메시지가 표시됩니다. 설정을 완료하려면 Create channel을 클릭합니다.
설정이 완료되면 새로운 Datadog 통합 위젯을 사용할 수 있습니다.
검증
Datadog에서 메트릭 탐색기로 이동하여 superwise.integration.test 메트릭을 검색하여 Superwise와 Datadog 간의 통합이 작동하는지 확인합니다.
수집한 데이터
메트릭
superwise.metric.overall.data_drift (gauge)
Average distribution shifts across all features. Shown as day
