mlTrain

Definition

ML Modeler서비스에서 기 저장된 파이프라인을 사용하여 ml 학습을 실행하는 노드이다. [Flow구성]노드 중 [mlTrain]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. modelName : 모델명 입력
2. modelDesc : 설명 입력
3. pipelineId : 브라우저에서 기존의 파이프라인 목록 중 사용할 파이프라인을 선택
4. datasetPath : ml train을 수행할 데이터셋 경로 (HDFS, S3 File browser을 제공-팝업에서 해당 경로를 선택)
5. format : 데이터셋 포맷 선택 (parquet, csv, orc 중 선택)
6. datasetPathcredential : datasetPath가 s3인 경우 credential 정보 (datasetPath 설정 시 자동셋팅됨)
7. modelPath : 학습 성공 시 모델 저장 경로 (HDFS, S3 File browser을 제공-팝업에서 해당 경로를 선택)
8. modelPathcredential : modelPath가 s3인 경우 credential 정보 (modelPath 설정 시 자동셋팅됨)
9. modelCluster : 학습시 사용할 클러스터명 (setting의 cluster 선택 시 자동셋팅됨)
10. spartOpts : spark 옵션 리스트 입력 (key : --executor-memory , value : 20G)

Example

Property

HDFS 브라우저를 사용하는 예시입니다.

실행 결과

브라우저 > HDFS 브라우저 에서 mlTrain 실행 결과로 저장된 모델을 확인 할 수 있다.