hiveToHdfs

Definition

원격에 있는 Hive 테이블 데이터를 HDFS로 가져올 수 있다. 좌측 [Flow구성]노드 중 [hiveToHdfs]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. cluster : Hive를 수행할 클러스터(직접 입력 선택시 3,4,5 정보 직접 입력)
3. url : HIVE 접속 주소(JDBC URL). jdbc:hive2://hdp-master01:10000
4. user : Hive 사용자 이름
5. password : Hive 사용자 암호
6. path : 결과물을 저장할 HDFS 경로
7. filename : 저장할 파일 이름
8. header : 컬럼 명 헤더 포함 유무
   • 체크박스 선택 : 컬럼정보 포함
   • 체크박스 해제 : 컬럼정보 미포함
9. overwrite : HDFS에 해당 파일이 존재할경우 overwrite/append 여부
   • 체크박스 선택 : overwrite 수행(해당 파일 덮어쓰기)
   • 체크박스 해제 : append 수행(해당 파일에 내용 append)
10. delimiter : HDFS에 저장할 결과물 파일의 구분자
11. sql : 데이터를 가져오기 위한 SQL 입력(SELECT 쿼리 사용)
12. version : Hive 버전(1.2.1, 3.1.1 중 택1)
13. retry
    • max : 실행 실패 시 재시도 횟수
    • period : 재시도 주기(분 단위)
14. forceOK : 데이터 처리가 실패해도 정상으로 표시하고 종료

Example

kbtest 클러스터 hive에 저장된 iris 테이블을 조회하여 test1234 클러스터에 result.csv 파일로 저장한다.

1. [브라우저] > [HIVE] 에서 kbtest 클러스터 Hive 계정의 iris 테이블 내역을 확인한다.

2. setting, property 패널에서 아래와 같이 입력한다.

   ① setting 패널에서 [hiveToHdfs] 노드를 실행할 클러스터를 선택
   ② property 패널에서 hive가 위치한 클러스터를 선택
   ③ path 입력항목의 파일 브라우저를 열어서 result.csv파일을 저장할 경로 선택
   ④ query 입력

3. 워크플로우 실행결과는 아래와 같다.