Fiddler의 Model Performance Management 플랫폼은 모델 성능 메트릭이 저하될 때 실시간 경고를 보내 기계 학습 모델 성능을 모니터링합니다. 이를 통해 사용자는 추론 데이터를 분석하여 모델 성능이 저하되는 이유를 이해할 수 있습니다. 이 통합에는 정확도, 트래픽, 드리프트 등의 성능 메트릭을 표시하는 기본 대시보드와 메트릭이 포함되어 있습니다.
설정
Fiddler 검사는 Datadog Agent 패키지에 포함되어 있지 않으므로 설치해야 합니다.
설치
Agent v7.21+ / v6.21+의 경우 아래 지침에 따라 호스트에 Fiddler 검사를 설치하세요. Docker Agent 또는 이전 버전의 Agent와 함께 설치하려면 커뮤니티 통합 사용을 참조하세요.
Fiddler 성능 데이터 수집을 시작하려면 Agent 구성 디렉터리 루트에 있는 conf.d/ 폴더에서 fiddler.d/conf.yaml 파일을 편집합니다. 사용 가능한 모든 구성 옵션은 샘플 fiddler.d/conf.yaml을 참조합니다. 통합에서 쿼리하려는 Fiddler 환경에 대해 url, org, fiddler_api_key 파라미터를 업데이트해야 합니다. Fiddler는 또한 conf.yaml 파일에서 minimum_collection_interval 설정을 300(5분)으로 설정할 것을 제안합니다.
