shell

Definition

Cluster 상의 임의의 host에서 shell 명령을 실행한다. [Flow구성]노드 중 [shell]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. file : 노드에서 사용할 라이브러리 경로를 설정
3. archive : archive경로를 설정
4. retry : max: 재수행 횟 수 : period: 재수행 간격
5. jobXml : jobxml입력
6. configuration : 실행에 사용할 속성 (key, value) 입력
7. envVar : keyValPair 입력
8. captionOutput : captureOutput 여부 선택
9. shellCmd : shell command를 직접 입력
10. argument : 인수 설정
11. forceOK : 실패 시 강제 OK 처리 여부

Example

크기가 0 byte인 파일을 만드는 스크립트를 [shell] 노드에서 실행한다.

touch /usr/local/hadoop/sample.txt

1. [shell]노드에서 실행되는 shell은 사전에 hdfs에 위치해야 하므로, 위 내용을 저장(crefile.sh) 후 [HDFS브라우저] 또는 터미널에 접속해서 hdfs에 저장한다.

• kbtest 클러스터 /tmp/ManSample/shell 폴더에 저장

2. [Flow구성]노드 중 [shell]노드를 drag & drop 한 후 Property 항목을 입력한다.

• 2.file : 앞서 저장한 파일을 선택한다.

• 9.shellCmd : sheel command를 입력한다. 실행 스크립트를 hdfs에 저장했으므로, 파일명만 입력한다. 오른쪽 Script Editor를 팝업하여 명령어를 입력할 수 있다.

3. 워크플로우 저장/실행 시 shell이 실행되어 0byte의 빈 파일이 생성된다.

[Note] shell 노드 사용시 유의사항

1. shell 노드 수행을 위한 shell 스크립트를 hdfs에 적재해야 한다.
2. shell 스크립트는 yarn resource manager에서 random하게 지정하는 node manager에서 수행된다. hdfs에 적재된 파일을 local로 내리는 명령 수행시 작업이 실행되는 node manager를 먼저 확인한다.