ssh

Definition

원격 host에 ssh 명령어 실행시 사용한다. [Flow구성]노드 중 [sqoop]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. captionOutput : captureOutput 여부 선택
2. host : ssh host 입력 (ex. user@host.com)
3. command : 실행할 command 입력 ( ex. ls )
4. argument : 인수 설정
5. forceOK : 실패 시 강제 OK 처리 여부

Example

kbtest 클러스터 Name Node에 위치한 shell을 실행한다. shell 위치는 dpcore 계정 홈디렉토리(/home/dpcore/air.sh)며, 동일 위치에 air.sh에서 전처리할 csv파일(AIR_HOUR_2019_noh.csv)도 있다.
air.sh의 내용은 다음과 같다.

awk -F"[,]" '$2 == "103" { print $0 }' ~dpcore/AIR_HOUR_2019_noh.csv > air_pollution_yongsan.csv

1> AIR_HOUR_2019_noh.csv 파일에서 두번째 필드값이 103인 레코드를 air_pollution_yongsan.csv라는 파일로 추출

2> AIR_HOUR_2019_noh.csv 파일은 fork/join 예제에서 사용한 "서울시 대기오염 정보" 데이터임

- station_cd(관측소코드)가 103은 용산에 위치한 관측소에서 측정한 데이터를 의미

1. kbtest 클러스터에 검사대상 파일(/home/dpcore/AIR_HOUR_2019_noh.csv)과 shell(/home/dpcore/air.sh)을 적재한다.
2. [ssh] 노드 drag & drop 후 아래와 같이 property 값을 설정한다.

• [setting] 패널에서 실행대상 클러스터를 kbtest로 설정
• [property] 패널에서 아래와 같이 설정
  • 2.host : dpcore@kbtest-accu-hdfs-nn
  • 3.command : sh air.sh

[Note] ssh password-less
ssh 노드 실행을 위해 ssh password-less 설정이 필요하다.

• server : ssh 접속대상 host (example에서 "2.host"에 입력되는 서버/계정)
• client : ssh 노드가 실행되는 host (oozie를 구동하는 eco node)
• client의 oozie, dpcore 계정 대상으로 password-less 설정

[Note] ssh vs shell
shell command를 실행시킨다는 점에서 shell 노드와 성격이 유사하나 아래와 같은 차이가 있다.

• shell : 실행하고자 하는 shell을 hdfs에 적재해야 하므로, shell 명령을 실행하는 노드는 random하게 지정된다.
• ssh : shell을 수행하는 노드를 임의로 지정할 수 있다. ssh 노드 실행을 위해서 password-less 설정이 필요하다.