hive

Definition

hive 쿼리를 수행하는 노드로, 직접 입력 방식과 스크립트 파일 불러오기 방식을 지원한다. 좌측 [Flow구성]노드 중 [hive]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. file : 노드에서 사용할 라이브러리 경로를 설정
3. archivce : archive경로를 설정
4. retry : 재수행 횟수 및 간격
   • max : 재수행 횟 수
   • period : 재수행 간격
5. jobXml : jobxml입력
6. configuration : 실행에 사용할 속성 (key, value) 입력
7. hiveExecute (inputType : query, script 중 택1)
   • query: query 입력 (query editor 사용가능)
   • script: scriptFile 경로 선택
8. param : 파라미터 설정
9. argument : 인수 설정
10. forceOK : 실패 시 강제 OK 처리 여부

Oozie에서 제공하는 기능으로 JDBC를 활용하여 원격에 있는 Hive 테이블에 대한 명령을 수행하기 위해서는 [executeHive]노드를, Hive 테이블을 HDFS로 가져오는 기능은 [hivetohdfs]노드를 사용한다.

Example 1. query 입력

inputType을 query로 선택할 경우 하단 queryContent 박스에 직접 sql을 입력한다. 쿼리내용이 길 경우 우측 [Query Editor]창 클릭시 팝업된 에디터에서 작업할 수 있다.

[fork]노드 example 작성시 사용한 "서울특별시 대기오염 측정정보" 데이터(air_pollution)중 종로구 소재지 관측소에서 측정한 데이터만 추출해서 새로운 테이블 "air_pollution_jongno"테이블을 만든다. 테이블 생성시 사용할 query는 아래와 같다.

create table air_pollution_jongno

as select * from air_pollution

where station_cd = '101' -- 종로구(종로구 종로35가길 19) 소재 관측소 코드

Example 2. script 활용

작업해야 할 쿼리가 많을 경우 hql 등을 미리 만들어 사용할 수 있다. inputType을 script로 선택한 다음 사전에 준비된 스크립트를 선택한다.

[Note] 유의사항
실행할 스크립트를 hdfs에 먼저 저장해야 한다. HDFS 브라우저 또는 터미널에서 hadoop fs -put 등의 명령어를 활용하여 사전에 등록한다.