sqoop

Definition

sqoop 명령어를 실행한다. sql 쿼리나 rdbms에서 hdfs로 데이터 이동시 사용한다. [Flow구성]노드 중 [sqoop]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. file : 노드에서 사용할 라이브러리 경로를 설정
3. archive : archive경로를 설정
4. retry
   • max : 실행 실패 시 재시도 횟수
   • period : 재시도 주기(분 단위)
5. configuration : 실행에 사용할 속성 (key, value) 입력
6. argument : 실행할 커멘드(EL expressions)
7. jobXml : jobXml 경로 입력. 잡에 전달할 프로퍼티를 별도 xml 로 작성하여 전달가능
8. forceOK : 데이터 처리가 실패해도 정상으로 표시하고 종료

Example

RDBMS에 위치한 테이블을 hdfs로 이동하기 위한 예제로 sqoop import syntax 에 맞게 argement를 설정한다. sqoop import common argument는 아래와 같다.

Argument [value]	Description
--connect [jdbc-uri]	Specify JDBC connect string
--connection-manager [class-name]	Specify connection manager class to use
--driver [class-name]	Manually specify JDBC driver class to use
--hadoop-mapred-home [dir]	Override $HADOOP_MAPRED_HOME
--help	Print usage instructions
--password-file	Set path for a file containing the authentication password
-P	Read password from console
--password [password]	Set authentication password
--username [username]	Set authentication username
--verbose	Print more information while working
--connection-param-file [filename]	Optional properties file that provides connection parameters
--relaxed-isolation	Set connection transaction isolation to read uncommitted for the mappers.

[Note] sqoop 관련 상세 내용은 아래 링크 참고
https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_syntax

1. [Flow구성] > [sqoop] 노드를 drag & drop 한 후 setting 패널에서 실행클러스터를 선택한다.

2. "6.argement"의 추가버튼 클릭 후 sqoop import syntax에 맞게 argment정보를 입력한다. import keyword 부터 시작해서 argument, value를 순서대로 입력한다.

   argument
   import
   --connect
   jdbc:mysql://10.178.XXX.XXX:302XX/modeler
   --username
   modeler
   --password
   XXXXXX
   --table
   tbl_user_grp_map
   --m
   1
   --target-dir
   /user/hive/warehouse/test

[Note] -m,--num-mappers [n] : option Use n map tasks to import in parallel