shell

Definition

Cluster 상의 임의의 host에서 shell 명령을 실행합니다.
좌측 [Flow구성]노드 중 [shell]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. prepare : 노드 실행 결과를 HDFS에 저장하기 위해 파일삭제/폴더생성 작업 선 수행(워크플로우 반복실행 시 활용가능)
   • delete : 노드 실행 전 삭제할 폴더/파일 경로
   • mkdir : 노드 실행 전 생성할 폴더 경로
2. file : 노드에서 사용할 라이브러리 경로를 설정
3. archive : archive 경로를 설정
4. retry
   • max: 재수행 횟수
   • period: 재수행 간격
5. jobXml : jobXml 입력
6. configuration : 실행에 사용할 속성 (key, value) 입력
7. envVar : keyValPair 입력
8. captionOutput : capture output 여부 선택
9. shellCmd : shell command를 직접 입력
   • [Script Editor]를 선택해서 팝업된 editor를 통해 코딩 가능
10. argument : 인수 설정
11. forceOK : 실패 시 강제 OK 처리 여부

Example

크기가 0 byte인 파일을 만드는 스크립트를 [shell] 노드에서 실행합니다.

```

touch /usr/local/hadoop/sample.txt

```

1. [shell]노드에서 실행되는 shell은 사전에 hdfs에 위치해야 하므로, 위 내용을 저장(crefile.sh) 후 [브라우저] > [HDFS] 또는 터미널에 접속해서 hdfs에 저장

   • kbtest 클러스터 /tmp/ManSample/shell 폴더에 저장

2. [Flow구성]노드 중 [shell]노드를 drag & drop 한 후 Property 항목 입력

   • [2.file] property에서 앞서 저장한 파일을 선택
     
   • [9.shellCmd] property에서 sheㅣl command를 입력(실행 스크립트를 hdfs에 저장했으므로, 파일명만 입력)
     

3. 워크플로우 저장/실행 시 shell이 실행되어 0byte의 빈 파일 생성 확인
   

[Note] shell 노드 사용시 유의사항

1. shell 노드 수행을 위한 shell 스크립트를 hdfs에 적재해야 합니다.
2. shell 스크립트는 yarn resource manager에서 random하게 지정하는 node manager에서 수행됩니다. hdfs에 적재된 파일을 local로 내리는 명령 수행시 작업이 실행되는 node manager를 먼저 확인합니다.