1. Snowflake를 모니터링하려면 Datadog 특정 역할과 사용자를 생성하세요. Snowflake에서 다음을 실행하여 ACCOUNT_USAGE 스키마에 대한 액세스 권한이 있는 커스텀 역할을 생성합니다.

   참고: 기본적으로 이 통합은 SNOWFLAKE 데이터베이스와 ACCOUNT_USAGE 스키마를 모니터링합니다. ORGANIZATION_USAGE 스키마를 모니터링하는 방법에 대한 자세한 내용은 “Collecting Organization Data"를 참조하세요. 이 데이터베이스는 기본적으로 사용 가능하며 ACCOUNTADMIN 역할 또는 계정 관리자가 부여한 모든 역할의 사용자만 볼 수 있습니다.

   use role ACCOUNTADMIN;
   grant imported privileges on database snowflake to role SYSADMIN;
   
   use role SYSADMIN;
   

   또는 ACCOUNT_USAGE에 대한 액세스 권한이 있는 DATADOG 커스텀 역할을 생성할 수 있습니다..

   -- Snowflake 사용량을 모니터링하기 위한 새 역할을 만듭니다.
   create role DATADOG;
   
   -- SNOWFLAKE 데이터베이스에 대한 권한을 새 역할에 부여합니다.
   grant imported privileges on database SNOWFLAKE to role DATADOG;
   
   -- DATADOG 역할에 기본 웨어하우스 대한 사용 권한을 부여합니다.
   grant usage on warehouse <WAREHOUSE> to role DATADOG;
   
   -- 사용자를 생성합니다. 기존 사용자를 사용하는 경우 이 단계를 건너뜁니다.
   create user DATADOG_USER
   LOGIN_NAME = DATADOG_USER
   password = '<PASSWORD>'
   default_warehouse = <WAREHOUSE>
   default_role = DATADOG
   default_namespace = SNOWFLAKE.ACCOUNT_USAGE;
   
   -- 사용자에게 모니터 역할을 부여합니다.
   grant role DATADOG to user <USER>;
   

2. 에이전트 설정 디렉터리 루트의 conf.d/ 폴더에 있는 snowflake.d/conf.yaml 파일을 편집하여 Snowflake 성능 데이터 수집을 시작합니다. 사용 가능한 모든 설정 옵션은 sample snowflake.d/conf.yaml을 참조하세요.

       ## @param account - string - required
       ## Name of your account (provided by Snowflake), including the platform and region if applicable.
       ## For more information on Snowflake account names,
       ## see https://docs.snowflake.com/en/user-guide/connecting.html#your-snowflake-account-name
       #
     - account: <ORG_NAME>-<ACCOUNT_NAME>
   
       ## @param username - string - required
       ## Login name for the user.
       #
       username: <USER>
   
       ## @param password - string - required
       ## Password for the user
       #
       password: <PASSWORD>
   
       ## @param role - string - required
       ## Name of the role to use.
       ##
       ## By default, the SNOWFLAKE database is only accessible by the ACCOUNTADMIN role. Snowflake recommends
       ## configuring a role specific for monitoring:
       ## https://docs.snowflake.com/en/sql-reference/account-usage.html#enabling-account-usage-for-other-roles
       #
       role: <ROLE>
   
       ## @param min_collection_interval - number - optional - default: 15
       ## This changes the collection interval of the check. For more information, see:
       ## https://docs.datadoghq.com/developers/write_agent_check/#collection-interval
       ##
       ## NOTE: Most Snowflake ACCOUNT_USAGE views are populated on an hourly basis,
       ## so to minimize unnecessary queries, set the `min_collection_interval` to 1 hour.
       #
       min_collection_interval: 3600
   
       # @param disable_generic_tags - boolean - optional - default: false
       # Generic tags such as `cluster` will be replaced by <INTEGRATION_NAME>_cluster to avoid
       # getting mixed with other integration tags.
       # disable_generic_tags: true
   

   In the default `conf.yaml`, the min_collection_interval is 1 hour. Snowflake metrics are aggregated by day, you can increase the interval to reduce the number of queries.
   Note: Snowflake ACCOUNT_USAGE views have a known latency of 45 minutes to 3 hours.

3. 에이전트를 다시 시작합니다.

조직 데이터 수집

기본적으로 이 통합은 ACCOUNT_USAGE 스키마를 모니터링하지만 대신 조직 수준 메트릭을 모니터링하도록 설정할 수 있습니다.

조직 메트릭을 수집하려면 통합 구성에서 스키마 필드를 ORGANIZATION_USAGE로 변경하고 min_collection_interval을 43200으로 늘립니다. 대부분의 조직 쿼리에는 최대 24시간의 지연 시간이 있으므로 이렇게 하면 Snowflake에 대한 쿼리 수가 줄어듭니다.

참고: 조직 메트릭을 모니터링하려면, user에 ORGADMIN 역할이 부여되어 있어야 합니다.

    - schema: ORGANIZATION_USAGE
      min_collection_interval: 43200

기본적으로 일부 조직 메트릭만 활성화됩니다. 사용 가능한 모든 조직 메트릭을 수집하려면 metric_groups 구성 옵션을 활용하세요.

    metric_groups:
      - snowflake.organization.warehouse
      - snowflake.organization.currency
      - snowflake.organization.credit
      - snowflake.organization.storage
      - snowflake.organization.contracts
      - snowflake.organization.balance
      - snowflake.organization.rate
      - snowflake.organization.data_transfer

또한 계정과 조직 메트릭을 동시에 모니터링할 수 있습니다.

    instances:
    - account: example-inc
      username: DATADOG_ORG_ADMIN
      password: '<PASSWORD>'
      role: SYSADMIN
      schema: ORGANIZATION_USAGE
      database: SNOWFLAKE
      min_collection_interval: 43200

    - account: example-inc
      username: DATADOG_ACCOUNT_ADMIN
      password: '<PASSWORD>'
      role: DATADOG_ADMIN
      schema: ACCOUNT_USAGE
      database: SNOWFLAKE
      min_collection_interval: 3600

여러 환경에 대한 데이터 수집

여러 Snowflake 환경에 대한 데이터를 수집하려면 각 환경을 snowflake.d/conf.yaml 파일에 인스턴스로 추가하세요. 예를 들어 이름이 DATADOG_SYSADMIN 및 이DATADOG_USER인 두 명의 사용자에 대한 데이터를 수집해야 하는 경우:

instances:
  - account: example-inc
    username: DATADOG_SYSADMIN
    password: '<PASSWORD>'
    role: SYSADMIN
    database: EXAMPLE-INC

  - account: example-inc
    username: DATADOG_USER
    password: '<PASSWORD>'
    role: DATADOG_USER
    database: EXAMPLE-INC

프록시 설정

Snowflake에서는 프록시 설정에 대한 환경 변수를 설정할 것을 권장합니다.

snowflake.d/conf.yaml의 init_config에서 proxy_host, proxy_port, proxy_user 및 proxy_password를 설정할 수도 있습니다.

참고: Snowflake는 프록시 설정을 자동으로 포맷하고 표준 프록시 환경 변수를 설정합니다. 이러한 변수는 도커(Docker), ECS, 쿠버네티스(Kubernetes) 와 같은 오케스트레이터를 포함하여 통합의 모든 요청에도 영향을 미칩니다.

Snowflake 구성에 대한 프라이빗 연결

Snowflake에서 비공개 연결(예: AWS PrivateLink)이 활성화되어 있는 경우, account 설정 옵션을 다음 형식으로 업데이트하여 Snowflake 통합을 설정할 수 있습니다.

      - account: <ACCOUNT>.<REGION_ID>.privatelink

Snowflake 커스텀 쿼리

Snowflake 통합은 커스텀 쿼리를 지원합니다. 기본적으로 통합은 공유 SNOWFLAKE 데이터베이스 및 ACCOUNT_USAGE 스키마에 연결됩니다.

다른 스키마 또는 데이터베이스에서 커스텀 쿼리를 실행하려면 sample snowflake.d/conf.yaml에 다른 인스턴스를 추가하고 database 및 schema 옵션을 지정합니다. 사용자 및 역할에 지정된 데이터베이스 또는 스키마에 대한 액세스 권한이 있는지 확인합니다.

설정 옵션

custom_queries 옵션에는 다음과 같은 옵션이 있습니다.

참고:

• 정의된 columns 항목 중 하나 이상은 메트릭 유형(예: gauge, count, rate)이어야 합니다.

• 열의 항목 수는 쿼리에서 반환되는 열의 수와 같아야 합니다.

• columns에 정의된 항목의 순서는 쿼리에 반환된 순서와 동일해야 합니다.

custom_queries:
  - query: select F3, F2, F1 from Table;
    columns:
      - name: f3_metric_alias
        type: gauge
      - name: f2_tagkey
        type: tag
      - name: f1_metric_alias
        type: count
    tags:
      - test:snowflake

예시

다음 예는 데이터베이스, 스키마 및 웨어하우스 이름으로 태그가 지정된 QUERY_HISTORY 보기에 있는 모든 쿼리 수를 계산하는 쿼리를 보여줍니다.

select count(*), DATABASE_NAME, SCHEMA_NAME, WAREHOUSE_NAME from QUERY_HISTORY group by 2, 3, 4;

커스텀 쿼리 설정

instances에서 커스텀 쿼리 구성은 다음과 같습니다.

custom_queries:
  - query: select count(*), DATABASE_NAME, SCHEMA_NAME, WAREHOUSE_NAME from QUERY_HISTORY group by 2, 3, 4;
    columns:
      - name: query.total
        type: gauge
      - name: database_name
        type: tag
      - name: schema_name
        type: tag
      - name: warehouse_name
        type: tag
    tags:
      - test:snowflake

에이전트: 유효성 검사

에이전트 의 상태 하위 명령을 실행하고 점검 섹션에서 snowflake를 찾습니다.

에이전트: 수집된 데이터

에이전트: 메트릭

메트릭 점검에서 제공되는 메트릭 목록을 참조하세요.

에이전트: 이벤트

Snowflake는 이벤트를 포함하지 않습니다.

에이전트: 서비스 점검

snowflake.can_connect
점검에서 Snowflake 자격 증명을 인증할 수 없는 경우 CRITICAL을 반환합니다. 그렇지 않으면 OK를 반환합니다.
Statuses: ok, critical

에이전트: 트러블슈팅

도움이 필요하신가요? Datadog 고객 지원팀에 문의하세요.

참고 자료

기타 유용한 문서, 링크 및 기사:

• Datadog를 사용한 Snowflake 모니터링
• Datadog를 사용한 Snowflake Snowpark 모니터링