mlRecommend
Definition
ML Modeler์๋น์ค์์ ๊ธฐ ์ ์ฅ๋ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ์ถ์ฒ ์์ ์ ์คํํ๋ค. [Flow๊ตฌ์ฑ]๋ ธ๋ ์ค [mlRecommend]๋ ธ๋๋ฅผ drag & drop ํ ํ Property ํญ๋ชฉ์ ์ ๋ ฅํ๋ค. Property ํจ๋์ [๋๋ณด๊ธฐ+] ๋ฒํผ์ ๋๋ฅด๋ฉด ์ ๋ ฅ๊ฐ๋ฅํ ์ ์ฒด Property ํญ๋ชฉ์ ๋ณผ ์ ์๋ค.
Set
[setting], [scheduler], [parameter] ์ค์ ์ [์ํฌํ๋ก์ฐ ์์ฑ] > [์ค์ ]์ ์ฐธ๊ณ ํ๋ค.
property
[Node Description] ์์ฑ ์ค์ธ ๋ ธ๋๋ช ์ ๋ ฅ
- master : mlRecommend ์คํํ master ์ ํ (yarn-cluster, yarn-client, local ์ค ์ ํ)
- name : appName์ ๋ ฅ
- useTrainNodeModel : ์ฐ๊ฒฐ๋ mlTrain ๋ ธ๋์ ํ์ต๊ฒฐ๊ณผ ๋ชจ๋ธ ์ฌ์ฉ ์ฌ๋ถ
- modelPath : ๋ชจ๋ธ ๊ฒฝ๋ก (ํ์ ์ด๊ธฐ : HDFS, S3 File browser ํ์ ์์ ๋ชจ๋ธ ๊ฒฝ๋ก๋ฅผ ์ ํ, ml model ๋ถ๋ฌ์ค๊ธฐ : ๊ธฐ์กด์ ๋ฑ๋ก๋ model์ ์ ํ)
- modelPathcredential : modelPath๊ฐ s3์ธ ๊ฒฝ์ฐ credential ์ ๋ณด (modelPath ์ค์ ์ ์๋์ ํ ๋จ)
- savePath: ์ ์ฅํ ๊ฒฝ๋ก ์ ํ (HDFS, S3 File browser์ ์ ๊ณต-ํ์ ์์ ํด๋น ๊ฒฝ๋ก๋ฅผ ์ ํ)
- savePathcredential : savePath๊ฐ s3์ธ ๊ฒฝ์ฐ credential ์ ๋ณด (savePath ์ค์ ์ ์๋์ ํ ๋จ)
- saveDataSetFormat : ์ ์ฅํ ๋ฐ์ดํฐ์ ํฌ๋งท ์ ํ (parquet, csv, orc ์ค ์ ํ)
- saveDataSetDelimiter : ์ ์ฅํ ๋ฐ์ดํฐ์ ๊ตฌ๋ถ์ ์ ๋ ฅ
- saveDataSetHeaderExists : ์ ์ฅํ ๋ฐ์ดํฐ์ header๊ฐ ์๋์ง ์ฌ๋ถ (TRUE, FALSE ์ค ์ ํ)
- recommendType : ์ถ์ฒ ์ ํ ์ ํ (recommendForAllUsers ์ฌ์ฉ์๋ณ ์ํ ์ถ์ฒ, recommendForAllItems ์ํ๋ณ ์ฌ์ฉ์ ์ถ์ฒ ์ค ์ ํ)
- numRecommends : ์ถ์ฒํ ํญ๋ชฉ ์ ์ ๋ ฅ
- userCol : user ์ปฌ๋ผ ์ค์ (์ ์ฅํ ๋ฐ์ดํฐ์ ์ฌ์ฉ์ id ์ ์ฅ ์ปฌ๋ผ๋ช ์ ๋ ฅ)
- itemCol : item ์ปฌ๋ผ ์ค์ (์ ์ฅํ ๋ฐ์ดํฐ์ ์ํ id ์ ์ฅ ์ปฌ๋ผ๋ช ์ ๋ ฅ)
- predRatingCol : ์ ์ฅํ ๋ฐ์ดํฐ์ rating ์์ธก ์ปฌ๋ผ๋ช ์ ๋ ฅ
- sparkOpts : spark ์ต์ ๋ฆฌ์คํธ ์ ๋ ฅ (key : --executor-memory , value : 20G)
- forceOK : ์คํจ์ ๊ฐ์ OK ์ฒ๋ฆฌ์ฌ๋ถ
Example
Property
HDFS ๋ธ๋ผ์ฐ์ ๋ฅผ ์ฌ์ฉํ๋ ์์์ ๋๋ค.
์คํ ๊ฒฐ๊ณผ
๋ธ๋ผ์ฐ์ > HDFS ๋ธ๋ผ์ฐ์ ์์ mlRecommend ์คํ ๊ฒฐ๊ณผ๋ก ์ ์ฅ๋ ๋ฐ์ดํฐ์ ์ ํ์ธ ํ ์ ์๋ค.