mlRecommend

Definition

๊ธฐ ์ €์žฅ๋œ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•˜์—ฌ ์ถ”์ฒœ ์ž‘์—…์„ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค.
์ขŒ์ธก [Flow๊ตฌ์„ฑ]๋…ธ๋“œ ์ค‘ [mlRecommend]๋…ธ๋“œ๋ฅผ drag & drop ํ•œ ํ›„ Property ํ•ญ๋ชฉ์„ ์ž…๋ ฅํ•ฉ๋‹ˆ๋‹ค. Property ํŒจ๋„์˜ [๋”๋ณด๊ธฐ+] ๋ฒ„ํŠผ์„ ๋ˆ„๋ฅด๋ฉด ์ž…๋ ฅ๊ฐ€๋Šฅํ•œ ์ „์ฒด Property ํ•ญ๋ชฉ์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Set

[setting], [scheduler], [parameter] ์„ค์ •์€ [์›Œํฌํ”Œ๋กœ์šฐ] > [์ƒ์„ฑ] > [๊ธฐ๋ณธ๊ตฌ์„ฑ]์„ ์ฐธ๊ณ ํ•ฉ๋‹ˆ๋‹ค.

property

[Node Description] ์ž‘์„ฑ ์ค‘์ธ ๋…ธ๋“œ๋ช… ์ž…๋ ฅ

mlrecommend01

  1. master : mlRecommend ์‹คํ–‰ํ•  master ์„ ํƒ (yarn-cluster, yarn-client, local ์ค‘ ์„ ํƒ)
  2. name : appName์ž…๋ ฅ
  3. useTrainNodeModel : ์—ฐ๊ฒฐ๋œ mlTrain ๋…ธ๋“œ์˜ ํ•™์Šต๊ฒฐ๊ณผ ๋ชจ๋ธ ์‚ฌ์šฉ ์—ฌ๋ถ€
  4. modelPath : ๋ชจ๋ธ ๊ฒฝ๋กœ
    • ํŒ์—…์—ด๊ธฐ : HDFS, S3 File browser ํŒ์—…์—์„œ ๋ชจ๋ธ ๊ฒฝ๋กœ๋ฅผ ์„ ํƒ
    • ml model ๋ถˆ๋Ÿฌ์˜ค๊ธฐ : ๊ธฐ์กด์— ๋“ฑ๋ก๋œ model์„ ์„ ํƒ
  5. modelPathcredential : modelPath๊ฐ€ s3์ธ ๊ฒฝ์šฐ credential ์ •๋ณด (modelPath ์„ค์ • ์‹œ ์ž๋™์…‹ํŒ…๋จ)
  6. savePath: ์ €์žฅํ•  ๊ฒฝ๋กœ ์„ ํƒ (HDFS, S3 File browser์„ ์ œ๊ณต-ํŒ์—…์—์„œ ํ•ด๋‹น ๊ฒฝ๋กœ๋ฅผ ์„ ํƒ)
  7. savePathcredential : savePath๊ฐ€ s3์ธ ๊ฒฝ์šฐ credential ์ •๋ณด (savePath ์„ค์ • ์‹œ ์ž๋™์…‹ํŒ…๋จ)
  8. saveDataSetFormat : ์ €์žฅํ•  ๋ฐ์ดํ„ฐ์…‹ ํฌ๋งท ์„ ํƒ (parquet, csv, orc ์ค‘ ์„ ํƒ)
  9. saveDataSetDelimiter : ์ €์žฅํ•  ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ๋ถ„์ž ์ž…๋ ฅ
  10. saveDataSetHeaderExists : ์ €์žฅํ•  ๋ฐ์ดํ„ฐ์…‹ header๊ฐ€ ์žˆ๋Š”์ง€ ์—ฌ๋ถ€ (TRUE, FALSE ์ค‘ ์„ ํƒ)
  11. recommendType : ์ถ”์ฒœ ์œ ํ˜• ์„ ํƒ
    • recommendForAllUsers ์‚ฌ์šฉ์ž๋ณ„ ์ƒํ’ˆ ์ถ”์ฒœ
    • recommendForAllItems ์ƒํ’ˆ๋ณ„ ์‚ฌ์šฉ์ž ์ถ”์ฒœ ์ค‘ ์„ ํƒ
  12. numRecommends : ์ถ”์ฒœํ•  ํ•ญ๋ชฉ ์ˆ˜ ์ž…๋ ฅ
  13. userCol : user ์ปฌ๋Ÿผ ์„ค์ • (์ €์žฅํ•  ๋ฐ์ดํ„ฐ์˜ ์‚ฌ์šฉ์ž id ์ €์žฅ ์ปฌ๋Ÿผ๋ช… ์ž…๋ ฅ)
  14. itemCol : item ์ปฌ๋Ÿผ ์„ค์ • (์ €์žฅํ•  ๋ฐ์ดํ„ฐ์˜ ์ƒํ’ˆ id ์ €์žฅ ์ปฌ๋Ÿผ๋ช… ์ž…๋ ฅ)
  15. predRatingCol : ์ €์žฅํ•  ๋ฐ์ดํ„ฐ์˜ rating ์˜ˆ์ธก ์ปฌ๋Ÿผ๋ช… ์ž…๋ ฅ
  16. sparkOpts : spark ์˜ต์…˜ ๋ฆฌ์ŠคํŠธ ์ž…๋ ฅ (key : --executor-memory , value : 20G)
  17. forceOK : ์‹คํŒจ์‹œ ๊ฐ•์ œ OK ์ฒ˜๋ฆฌ์—ฌ๋ถ€

Example

Property

HDFS ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ์˜ˆ์‹œ์ž…๋‹ˆ๋‹ค.

mlrecommend02

์‹คํ–‰ ๊ฒฐ๊ณผ

[๋ธŒ๋ผ์šฐ์ €] > [HDFS] ๋ธŒ๋ผ์šฐ์ €์—์„œ mlRecommend ์‹คํ–‰ ๊ฒฐ๊ณผ๋กœ ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ์…‹์„ ํ™•์ธ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

mlrecommend03