executeHive

Definition

JDBC를 활용하여 원격에 있는 Hive 테이블에 대한 명령을 실행한다. [hive] 노드보다 더 확장된 기능을 사용할 수 있다. 좌측 [Flow구성]노드 중 [distcp]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

[Note]
Hadoop 기반으로 Data Lake를 구축한 site의 경우 Data Lake 내 hive에 접속하여 ETL 작업을 직접 수행할 수 있다.
기존 ETL 개발자들이 사용하기 용이하나, Query 숙련도에 성능차이가 많이 날 수 있음에 유의한다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. cluster : Hive를 수행할 클러스터(직접 입력 선택시 3,4,5 정보 직접 입력)
3. url : HIVE 접속 주소(JDBC URL). jdbc:hive2://hdp-master01:10000
4. user : Hive 사용자 이름
5. password : Hive 사용자 암호
6. sql : 데이터를 가져오기 위한 SQL 입력(select 쿼리는 실행할 수 없음)
7. version : Hive 버전(1.2.1, 3.1.1 중 택1)
8. retry
   • max : 실행 실패 시 재시도 횟수
   • period : 재시도 주기(분 단위)
9. forceOK : 데이터 처리가 실패해도 정상으로 표시하고 종료

Example

Hive에 저장된 iris 테이블을 기반으로 iris_testqf라는 신규테이블을 생성한다.

• [브라우저] > [HIVE] 에서 test1234 클러스터 Hive 계정의 iris 테이블 내역을 확인한다.

1. [2.cluster]에서 hive가 위치한 클러스터를 선택. 클러스터 선택시 [3.url], [4.user], [5.password] 항목은 자동 선택된다.
2. [6.sql]에 쿼리를 입력한다. 오른쪽 [query editor]버튼 클릭하여 팝업된 editor에서 직접 쿼리를 작성할 수 있다.

워크플로우 실행결과로 새로운 테이블이 생성됐다.