serverToHdfs

Definition

서버에 위치한 파일을 HDFS로 복사하는 노드이다. [Flow구성]노드 중 [serverToHdfs]노드를 drag & drop 한 후 Property 항목을 입력한다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. 원격 서버 IP : IP주소와 Port정보를 입력한다. [연결관리] 제목 우측의 [목록열기] 버튼을 눌러 기저장된 원격서버 정보를 선택할 수 있다.
   • IP주소 : 서버 IP
   • PORT : 서버 PORT
2. sourceFolder : source 파일 경로 ec) /home/dpcore
3. sourceFile : source 파일 명 ex) target.csv
4. user : SSH User ID
5. password : SSH User Password
6. hdfsFilePath : 저장할 HDFS 경로 ex) /tmp

Example

원격서버 /home/dpcore 경로에 위치한 servertohdfs.csv파일을 HDFS에 적재하고자 한다.

1. 목록열기 버튼을 활용하여 원격서버 정보를 선택한다. 서버정보를 선택하면 [원격서버IP], [user], [passwird]가 자동 입력된다. 원격서버 등록방법은 매뉴얼 [원격서버관리]를 참고한다.
2. sourceFolder에 "/home/dpcore"를 sourceFile에 "servertohdfs.csv"를 입력한다.
3. hdfsFilePath 정보를 입력한다. [브라우저] > [HDFS브라우저]로 이동하여 클러스터와 저장경로를 선택한 후 우측 상단의 [HDFS 경로 복사]를 선택한다. HDFS경로가 자동 복사된다.

워크플로우 실행결과는 아래와 같다.