ssh

Definition

원격 host에 ssh 명령어 실행시 사용합니다.
좌측 [Flow구성]노드 중 [ssh]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. captionOutput : capture output 여부 선택
2. host : ssh host 입력 ex) user@host.com
3. command : 실행할 command 입력 ex) ls
   • [Script Editor]를 선택해서 팝업된 editor를 통해 코딩 가능
4. argument : 인수 설정
5. forceOK : 실패 시 강제 OK 처리 여부

Example

kbtest 클러스터 Name Node에 위치한 shell을 실행합니다. shell 위치는 dpcore 계정 홈디렉토리(/home/dpcore/air.sh)며, 동일 위치에 air.sh에서 전처리할 csv파일(AIR_HOUR_2019_noh.csv)도 있습니다.
air.sh의 내용은 다음과 같습니다.

awk -F"[,]" '$2 == "103" { print $0 }' ~dpcore/AIR_HOUR_2019_noh.csv > air_pollution_yongsan.csv

1> AIR_HOUR_2019_noh.csv 파일에서 두번째 필드값이 103인 레코드를 air_pollution_yongsan.csv라는 파일로 추출

2> AIR_HOUR_2019_noh.csv 파일은 fork/join 예제에서 사용한 "서울시 대기오염 정보" 데이터

- station_cd(관측소코드)가 103은 용산에 위치한 관측소에서 측정한 데이터를 의미

1. kbtest 클러스터에 검사대상 파일(/home/dpcore/AIR_HOUR_2019_noh.csv)과 shell(/home/dpcore/air.sh)을 적재
2. [ssh] 노드 drag & drop 후 아래와 같이 property 값 설정
   • [setting] 패널에서 실행대상 클러스터를 kbtest로 설정
   • [property] 패널에서 아래와 같이 설정
     • [2.host] : dpcore@kbtest-accu-hdfs-nn
     • [3.command] : sh air.sh

[Note] ssh password-less
ssh 노드 실행을 위해 ssh password-less 설정이 필요합니다.

• server : ssh 접속대상 host (example에서 [2.host]에 입력되는 서버/계정)
• client : ssh 노드가 실행되는 host (oozie를 구동하는 eco node)
• client의 oozie, dpcore 계정 대상으로 password-less 설정

[Note] ssh vs shell
shell command를 실행시킨다는 점에서 shell 노드와 성격이 유사하나 아래와 같은 차이가 있습니다.

• shell : 실행하고자 하는 shell을 hdfs에 적재해야 하므로, shell 명령을 실행하는 노드는 random하게 지정됩니다.
• ssh : shell을 수행하는 노드를 임의로 지정할 수 있습니다. ssh 노드 실행을 위해서 password-less 설정이 필요합니다.