mlTrain

Definition

기 저장된 파이프라인 또는 신규 파이프라인을 등록하여 ml 학습을 실행하는 노드입니다.
좌측 [Flow구성]노드 중 [mlTrain]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. modelName : 모델명 입력
2. modelDesc : 모델 설명 입력
3. pipelineId : 기존의 파이프라인 목록 중 사용할 파이프라인을 선택하거나 신규 파이프라인을 등록하여 사용
4. datasetPath : ml train을 수행할 데이터셋 경로 (HDFS, S3 File browser을 제공-팝업에서 해당 경로를 선택)
5. format : 데이터셋 포맷 선택 (parquet, csv, orc 중 선택)
6. datasetPathcredential : datasetPath가 s3인 경우 credential 정보 (datasetPath 설정 시 자동셋팅됨)
7. modelPath : 학습 성공 시 모델 저장 경로 (HDFS, S3 File browser을 제공-팝업에서 해당 경로를 선택)
8. modelPathcredential : modelPath가 s3인 경우 credential 정보 (modelPath 설정 시 자동셋팅됨)
9. modelCluster : 학습시 사용할 클러스터명 (setting의 cluster 선택 시 자동셋팅됨)
10. spartOpts : spark 옵션 리스트 입력 (key : --executor-memory , value : 20G)

Example

Property

Dataset과 모델 저장 위치를 HDFS 브라우저로 사용하는 예시입니다.

1. 신규작성
2. 불러오기

실행 결과

[브라우저] > [HDFS] 브라우저에서 mlTrain 실행 결과로 저장된 모델을 확인 할 수 있습니다.