To find out if this integration is available in your organization, see your Datadog Integrations page or ask your organization administrator.
To initiate an exception request to enable this integration for your organization, email support@ddog-gov.com.
DataDog의 Fiddler Dashboard
모델 정확도 차트
모델 분석
반사실적 설명 수행
데이터 드리프트 차트
모델 설명
개요
Fiddler의 Model Performance Management 플랫폼은 모델 성능 메트릭이 저하될 때 실시간 경고를 보내 기계 학습 모델 성능을 모니터링합니다. 이를 통해 사용자는 추론 데이터를 분석하여 모델 성능이 저하되는 이유를 이해할 수 있습니다. 이 통합에는 정확도, 트래픽, 드리프트 등의 성능 메트릭을 표시하는 기본 대시보드와 메트릭이 포함되어 있습니다.
설정
Fiddler 검사는 Datadog Agent 패키지에 포함되어 있지 않으므로 설치해야 합니다.
설치
Agent v7.21+ / v6.21+의 경우 아래 지침에 따라 호스트에 Fiddler 검사를 설치하세요. Docker Agent 또는 이전 버전의 Agent와 함께 설치하려면 커뮤니티 통합 사용을 참조하세요.
Fiddler 성능 데이터 수집을 시작하려면 Agent 구성 디렉터리 루트에 있는 conf.d/ 폴더에서 fiddler.d/conf.yaml 파일을 편집합니다. 사용 가능한 모든 구성 옵션은 샘플 fiddler.d/conf.yaml을 참조합니다. 통합에서 쿼리하려는 Fiddler 환경에 대해 url, org, fiddler_api_key 파라미터를 업데이트해야 합니다. Fiddler는 또한 conf.yaml 파일에서 minimum_collection_interval 설정을 300(5분)으로 설정할 것을 제안합니다.
