serverToHdfs
Definition
์๋ฒ์ ์์นํ ํ์ผ์ HDFS๋ก ๋ณต์ฌํ๋ ๋
ธ๋์
๋๋ค.
์ข์ธก [Flow๊ตฌ์ฑ]๋
ธ๋ ์ค [serverToHdfs]๋
ธ๋๋ฅผ drag & drop ํ ํ Property ํญ๋ชฉ์ ์
๋ ฅํฉ๋๋ค.
Set
[setting], [scheduler], [parameter] ์ค์ ์ [์ํฌํ๋ก์ฐ] > [์์ฑ] > [๊ธฐ๋ณธ๊ตฌ์ฑ]์ ์ฐธ๊ณ ํฉ๋๋ค.
property
[Node Description] ์์ฑ ์ค์ธ ๋ ธ๋๋ช ์ ๋ ฅ
property ์ค 1,4,5 ํญ๋ชฉ์ [์ฐ๊ฒฐ๊ด๋ฆฌ]์ ๋ฑ๋ก๋ ์๊ฒฉ์๋ฒ ์ ๋ณด ์ ํ ์ ์๋์ผ๋ก ์ ๋ ฅ๋๋ฉฐ, ์ํ๋ ์๋ฒ๋ชฉ๋ก์ด ์์ ๊ฒฝ์ฐ [์ค์ ] > [์๊ฒฉ ์๋ฒ]์์ ํ์์๋ฒ๋ฅผ ๋จผ์ ๋ฑ๋กํฉ๋๋ค.
- ์๊ฒฉ ์๋ฒ IP : [์ค์ ] > [์๊ฒฉ ์๋ฒ]์ ์ ์ฅ๋ ์๋ฒ IP, PORT
- sourceFolder : source ํด๋ ๊ฒฝ๋ก ex) /home/dpcore
- sourceFile : source ํ์ผ ๋ช ex) target.csv
- user : [์ค์ ] > [์๊ฒฉ ์๋ฒ]์ ์ ์ฅ๋ ์๋ฒ SSH User ID
- password : [์ค์ ] > [์๊ฒฉ ์๋ฒ]์ ์ ์ฅ๋ ์๋ฒ SSH User Password
- hdfsFilePath : ์ ์ฅํ HDFS ๊ฒฝ๋ก ex) /tmp
Example
์๊ฒฉ์๋ฒ /home/dpcore ๊ฒฝ๋ก์ ์์นํ servertohdfs.csvํ์ผ์ HDFS์ ์ ์ฌํ๊ณ ์ ํฉ๋๋ค.
- ๋ชฉ๋ก์ด๊ธฐ ๋ฒํผ์ ํ์ฉํ์ฌ ์๊ฒฉ์๋ฒ ์ ๋ณด๋ฅผ ์ ํ, ์๋ฒ์ ๋ณด๋ฅผ ์ ํํ๋ฉด [1.์๊ฒฉ ์๋ฒ IP], [4.user], [5.password] ํญ๋ชฉ์ด ์๋ ์ ๋ ฅ
- [2.sourceFolder]์ "/home/dpcore"๋ฅผ [3.sourceFile]์ "servertohdfs.csv"๋ฅผ ์ ๋ ฅ
- [6.hdfsFilePath] ์ ๋ณด ์
๋ ฅ
- ์ํฌํ๋ก์ฐ ์คํ๊ฒฐ๊ณผ