AutoDL

AutoDL 소개

AutoDL은 딥러닝 모델의 하이퍼파라미터 튜닝을 자동화하여 최적의 하이퍼파라미터 조합을 탐색하는 데 소요되는 시간을 단축해 줍니다. 탐색 결과를 한 눈에 비교할 수 있도록 하이퍼파라미터 조합 별 성능을 시각화한 그래프도 제공합니다. 또한 분석가가 거쳐야 하는 단계를 최소화하기 위해 도커 이미지 자동 생성 및 trialTemplate 자동 완성 기능을 제공하며, 분석 목적에 따라 다양한 하이퍼파라미터 튜닝 알고리즘을 적용할 수 있습니다. AutoDL에서 하이퍼 파라미터 튜닝 기능을 사용하기 위해서는 모델 관리부에서 도커 이미지와 trialTemplate을 생성한 뒤 AutoDL experiment를 생성하는 과정을 거치게 됩니다.

모델 관리부

이미지

1. 이미지 목록

필드	설명
이미지명	이미지를 대표하는 이름
상태	BUILDING, UPLOADING, COMPLETE, FAIL
워크스페이스명	Python 모델 파일이 위치한 워크스페이스
설명	이미지 설명
등록일	이미지 빌드 일시
Owner	생성자 정보 표기
Action	수정: 이미지 상세 사항 확인 및 설명 수정
	삭제: 이미지 삭제

2. 이미지 추가

• 사용자가 선택한 파이썬 모델 파일(.py)과 filestorage 폴더를 기반으로 도커 이미지를 자동 생성
• 딥러닝 프레임워크: Tensorflow1, Tensorflow2, Keras, Pytorch, MXNet
  MXNet을 제외한 모든 프레임워크의 GPU 버전을 지원함
• 주피터 노트북 home 디렉토리에서 Python 모델 파일을 선택
• '빌드' 버튼을 누르면 도커 이미지가 생성됨

trialTemplate

• '이미지' 탭에서 생성된 이미지를 기반으로 trialTemplate이 생성되어 있음
• worker 개수 및 cpu, memory, gpu 리소스 옵션을 편리하게 설정 가능

• '템플릿 추가' 버튼을 눌러 사용자가 직접 trialTemplate을 작성하는 것도 가능
• Job, TFJob, PyTorchJob 중에서 선택시 해당 Job의 trialTemplate 기본형이 제공됨
  • Kubernetes Job (does not support distributed execution).
  • Kubeflow TFJob (supports distributed execution).
  • Kubeflow PyTorchJob (supports distributed execution).

AutoDL

AutoDL experiment 목록

필드	설명
이름	AutoDL Experiment를 대표하는 제목
상태	CREATED, RUNNING, SUCCEEDED, FAIL, UNKNOWN
등록일	AutoDL Experiment 생성 일시
Owner	생성자 정보 표기
Action	삭제: Experiment 삭제
	YAML 파일 보기: Experiment를 생성한 YAML 파일 확인 및 클립보드로 복사

AutoDL experiment 생성

1. YAML file 정보 입력

• 1에서 설정한 사항이 2의 code mirror에 반영됨
• '초기화' 버튼을 눌러 설정 사항을 초기화할 수 있음
• Metadata
  • Name: AutoDL Experiment를 대표하는 제목
  • Namespace: 실험을 실행할 namespace 명. 고정된 값
• Trial Spec
  • trial pod 생성을 위한 명세서
  • 모델 관리부의 trialTemplate 탭에서 생성한 trialTemplate 중에서 선택 가능
• Metrics Collector
  • 평가 지표를 수집하는 형식을 지정
    • StdOut: metricsFormat에서 정의한 정규 표현식에 맞추어 평가 지표를 수집
      metricsFormat을 설정해야 함. Default: ([\w|-]+)\s=\s((-?\d+)(.\d+)?)
    • TensorflowEvent: tf.summary로 기록된 로그에서 평가 지표를 수집 (tensorflow2 미지원)
      로그 경로를 설정해야 함
    • File: 평가 지표를 기록한 로그 파일을 생성하고 해당 파일에서 metricsFormat에 맞추어 평가 지표를 수집
      로그 경로와 metricsFormat을 설정해야 함. Default: ([\w|-]+)\s=\s((-?\d+)(.\d+)?)
• Algorithm Name
  • 하이퍼파라미터 튜닝 알고리즘을 선택
    • Random Search
    • Tree of Parzen Estimators (TPE)
    • Grid Search
    • Hyperband
    • Bayesian Optimization
• Common Parameters
  • AutoDL에서 trial은 하나의 하이퍼파라미터 조합을 적용해서 모델 성능을 평가하는 것을 의미함
  • 예를 들어, ParallelTrialCount=3이고 MaxTrialCount=12이면 3개의 trial을 동시에 실행하는 과정을 4번 반복하여 12개의 trial을 실행
    • ParallelTrialCount: 동시에 실행할 trial의 개수
    • MaxTrialCount: 실행할 전체 trial의 개수. 도달하면 실험이 종료됨
    • MaxFailedTrialCount: 최대 trial 실패 개수. 도달하면 실험이 종료됨
• Parameters
  • 탐색할 하이퍼파라미터와 그 범위를 설정
    • Name: 하이퍼파라미터 명
    • Parameter Type: 하이퍼파라미터의 타입을 double, int, categorical 중에서 선택
    • Type: 범위의 타입을 FeasibleSpace, list 중에서 선택
    • Range: Type이 FeasibleSpace이면 Min과 Max로, Type이 list이면 범주형으로 탐색 범위를 설정
• Objective
  • 평가 지표와 목표값을 설정
    • Type: Maximize와 Minimize 중에서 선택
    • Goal: 평가 지표의 목표값
    • ObjectiveMetricName: 평가 지표명

2. YAML file 읽기

• 편집: yaml 파일을 수정
• 업로드: 사용자가 로컬에서 미리 작성해 놓은 yaml 파일을 업로드
• 생성: 실험을 생성 및 실행

결과 상세

• ObjectiveMetricName에서 설정한 평가 지표를 기준으로 하이퍼파라미터 조합별 결과 표와 그래프 제공

• VIEW EXPERIMENT에서 AutoDL experiment를 실행한 yaml 파일과 최적 조합을 확인

주의사항

코드 작성시 유의 사항

• Argument parser를 통해 하이퍼파라미터 설정

  def build_parser():

  parser = ArgumentParser()

  ######### 저장할 폴더 설정 #########

  parser.add_argument("--save_path", dest="save_path", default="filestorage/result/I_event_model", type=str)

  parser.add_argument("--dir_name", dest="dir_name", default=None, type=str)

  ##LOG option

  parser.add_argument("--log_name", dest="log_name", default="train_event_log.txt", type=str)

  ##Common option

  parser.add_argument("--device", dest="device", default="gpu", help='gpu, cpu, cuda', type=str)

  ##Loader option

  parser.add_argument("--label_path", dest="label_path", default='filestorage/result/F_label/future_class_hynix_1d.csv', type=str)

  parser.add_argument("--test_portion", dest="test_portion", default=0.19, type=float)

  parser.add_argument("--window_size", dest="window_size", default=3, type=int)

  parser.add_argument("--max_doc_length", dest="max_doc_length", default=50, type=int)

  parser.add_argument("--max_sent_length", dest="max_sent_length", default=3, type=int)

  parser.add_argument("--num_worker", dest="num_worker", default=4, type=int)

  ##Model option

  parser.add_argument("--hidden_size", dest="hidden_size", default=16, type=int)

  parser.add_argument("--n_layers", dest="n_layers", default=2, type=int)

  parser.add_argument("--dropout_p", dest="dropout_p", default=0.01, type=float)

  parser.add_argument("--num_class", dest="num_class", default=2, type=int)

  ##Train option

  parser.add_argument("--n_epochs", dest="n_epochs", default=5, type=int)

  parser.add_argument("--lr", dest="lr", default=0.001, type=float)

  parser.add_argument("--early_stop", dest="early_stop", default=70, type=int)

  parser.add_argument("--batch_size", dest="batch_size", default=128, type=int)

  config = parser.parse_args()

  return config

• AutoDL에서 평가 지표를 수집할 수 있도록 Metrics Collector의 metricsFormat에 맞추어 평가 지표를 출력

  print("lastEpoch {} f1-score={:.4f} accuracy={:.4f}".format(str(history["last_epoch"]), f1_score, accuracy))

• 메인 모델 파일 외의 입력 데이터 및 커스텀 모듈 등을 filestorage 폴더에 위치시킴
  filestorage 폴더 명을 수정하거나 삭제하면 안 됨

하이퍼파라미터 튜닝 알고리즘

• Grid Search

  • Int, double type의 parameter를 사용할 경우, step(간격)을 설정해야 함

• Hyperband

  • resource_name, eta, r_l를 설정해야 함
  • resource_name으로 설정한 하이퍼파라미터는 Parameters에 추가되어 있어야 함
  • eta, r_l에 따라 ParallelTrialCount의 최솟값이 결정 됨
    smax=int(mat.log(r_l)/math.log(eta))
    max_parallel=int(math.ceil(eta**smax))
  • ParallelTrialCount와 MaxTrialCount는 동일한 값을 가져야 함
  • 예를 들어, resource_name는 --epoch이고 eta=3, r_l=9인 경우,
    eta와 r_l에 의해 ParallelTrialCount의 최솟값은 9임
    ParallelTrialCount를 9로, epoch을 27로 설정한다면 9개의 trial이 동시에 3 epoch씩 실행됨