SnowFlake 내보내기

Definition

워크플로우 실행 결과를 SnowFlake에 저장하기 위해 사용합니다.
좌측 [데이터내보내기]노드 중 [SnowFlake내보내기]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.
expdata015

Set

[setting], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

Property

[Node Description] 작성 중인 노드명 입력

  1. url : JDBC 접속 URL. 1~4 입력항목은 [연결관리]에서 선택한 정보를 자동으로 조회함(직접 입력할 수 없음)
  2. username: database 사용 계정
  3. password : 패스워드
  4. snowFlakeTable : 데이터베이스 스키마에서 생성되고 유지되는 기본 오브젝트
  5. database : 스키마를 논리적으로 그룹화한 것
  6. sfSchema : 데이터베이스 오브젝트(테이블, 뷰 등)를 논리적으로 그룹화한 것
  7. warehouse : Snowflake의 컴퓨팅 리소스 클러스터입니다. 웨어하우스는 Snowflake 세션에서 다음 작업을 수행하기 위해 필요한 리소스(예: CPU, 메모리 및 임시 저장소)를 제공합니다.
  8. format : Spark에서 Snowflake를 데이터 소스로 사용하려면 .format 옵션을 사용하여 데이터 소스를 정의하는 Snowflake 커넥터 클래스 이름을 제공합니다.
  9. mode : 저장모드 설정
    • error : 파일이 있으면 에러 처리
    • append : 다른 이름으로 파일 추가
    • overwrite : 기존 파일을 삭제하고 추가
    • ignore : 파일이 있으면 저장하지 않고, 에러 처리도 하지 않음
  10. option : key, value 설정 (null을 문자열로 인식하는 것을 방지 할 수 있음)

연결관리

snowFlake연결을 위한 JDBC정보는 [설정] > [JDBC관리] 에서 생성/관리합니다. [JDBC관리]에 등록된 목록을 선택할 경우 Property 중 1~4번항목은 자동입력됩니다.

  1. 목록열기 : [설정] > [JDBC관리]에 입력한 JDBC연결정보 팝업. 연결정보가 없을 경우 [신규생성] 버튼으로 직접 생성가능
    expdata018
  2. 연결테스트 : JDBC접속여부 사전 확인. 테스트 실패시 입력정보 변경, 오타 또는 RDB서비스 이상여부 등 점검 필요