클러스터 관리#
ID클러스터를 생성하면 부여되는 아이디 AWS의 경우 EMR에서 부여한 ID이고, GCP의 경우 자체적으로 UUID를 생성하여 부여 클라우드 상태클러스터의 상태 정보 다음 상태 정보가 될 수 있음 [AWS]TERMINATED : 종료 됨 TERMINATING : 종료 중 TERMINATED_WITH_ERRORS : 에러로 종료 됨 WATING : 대기 중 RUNNING : 동작 중 STARTING : 시작 중 BOOTSTRAPPING : bootstrapping 동작 중 [GCP]TERMINATED : 종료 됨 DELETING : 종료 중 UNKNOWN : 상태를 알 수 없음 ERROR : 에러가 발생한 상태 CREATING : 생성 중 RUNNING : 동작 중 UPDATING : 업데이트 중 이름
생성시간 경과시간 노드개수Master, Core, Task 노드를 합한 수 생성자 스케줄 상태스케줄에 의한 클러스터의 시작/종료 상태 값 Manual Start : 수동으로 시작된 상태 Manual Stop : 수동으로 종료된 상태 Manual Error : 수동으로 시작 중 오류가 발생한 상태 Schedule Start : 스케줄에 의해 시작된 상태 Schedule Stop : 스케줄에 의해 종료된 상태 Schedule Error : 스케줄에 의해 시작 중 오류가 발생한 상태 Schedule Skip : Application이 동작 중으로 종료 스케줄이 스킵된 상태 ActionZeppelin, Jupyter, 스케줄 삭제, 스케줄 설정, 종료 기능이 있음
ID노드에 부여되는 아이디 AWS의 경우 EMR에서 부여한 인스턴스 그룹의 아이디 이고, GCP의 경우 자체 적으로 UUID-{노드 유형} 으로 부여 상태노드의 상태 [AWS]PROVISIONING : 프로비저닝 중 BOOTSTRAPPING : bootstrapping 실행 중 RUNNING : 동작 중 RECONFIGURING : 재구성 상태 RESIZING : 노드 사이즈 변경 중 SUSPENDED : 일시 중지된 상태 TERMINATING : 종료 중 TERMINATED : 종료 됨 ARRESTED : 오류로 중지된 상태 SHUTTING_DOWN : 자동 종료시 마지막 단계 완료 후 상태 [GCP]STOPPING : 중지 중 STOPPED : 중지 됨 SUSPENDING : 일시 중지 중 SUSPENDED : 일시 중지 됨 TERMINATED : 종료 됨 RUNNING : 실행 중 PROVISIONING : 리소스 할당 중 STAGING : 부팅 준비 중
타입 인스턴스 유형 인스턴스 수 클러스터 생성 방법#
검색 필터상태, 이름, 생성 시간, 클라우드, Account, 생성자로 리스트를 검색 클러스터 생성 일반클러스터를 생성하기 위한 Cloud 계정을 선택하고 이름과 설명을 입력 Cloud 계정은 "계정" 메뉴에서 입력된 계정 중에 로그인 사용자에게 권한이 있는 목록이 드랍 박스로 표시 AWS일 경우 이름은 다음 패턴이어야 함유니코드 정규 표현 식 : [\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF\r\n\t]* GCP일 경우 이름은 다음 패턴 이어야 함정규 표현 식 : (?:[a-z](?:[-a-z0-9]{0,49}[a-z0-9])?) 하드웨어템플릿 관리에서 입력한 템플릿을 선택 "일반"에서 선택한 Cloud 계정에 대한 템플릿 리스트가 드랍 박스로 표시노드의 인스턴스 수는 최대 노드 수를 초과 하여 지정 할 수 없음 최대 노드 수를 변경하고 싶을 경우에는 해당 템플릿을 수정
소프트웨어릴리즈 버전을 선택 ApplicationList에 기본으로 설치되는 Application이 표시 다른 Application을 추가 설치 하고 싶을 경우 타입을 Default에서 Custom으로 변경하면 추가 설치 가능한 목록이 표시되며, 체크박스를 선택하면 생성 시 해당 Application들이 추가GCP의 경우 Jupyter, Zeppelin을 추가 하기 위해서는 "하드웨어"의 인스턴스 유형의 메모리가 13GB 이상이 선택 되어야 함. (최소 인스턴스 타입 : n1-standard-4, n1-highmem-2, n1-highcpu-16, e2-standard-4, e2-highmem-2, e2-highcpu-16) 클러스터 종료 / 리플레쉬 / Zeppelin / Jupyter#
종료 리플레쉬 ActionZepplin : Zeppelin 사이트로 이동 (클러스터에 Zeppelin이 설치 되어 있어야 활성화) Jupyter : Jupyter 사이트로 이동 (클러스터에 Jupyter가 설치되어 있어야 활성화) 삭제 : 스케줄러를 삭제 (스케줄러가 등록 되어 있어야 활성화) 스케줄러 설정 : 클러스터가 자동 시작/종료되는 스케줄러를 설정반복 주기 : 한번, 주중, 주말, 사용자 설정(월 ~ 일요일 중 사용자가 선택) Application 동작 시 종료 금지 : 클러스터에 dpcore 사용자가 시작한 Application이 동작하고 있으면 종료하지 않음 종료 : 클러스터를 종료 링크를 클릭하면 클러스터의 상세 페이지로 이동 화살표를 클릭하면 노드 정보가 리스트에서 펼쳐 지거나 접힘
노드변경클러스터에 설정되어 있는 노드를 변경 생성할 때 사용한 템플릿에 지정된 최대 노드 수를 초과 할 수 없음마스터 노드 수 : 마스터 노드의 수 사용 중인 노드 수 : 마스터 노드, 코어 노드, 작업 노드, 선점형 노드 수의 합 최대 사용 가능 노드 수 : 모든 노드 수의 합이 도달 할 수 있는 최대 수치 클러스터 관리 (상세)#
뒤로가기화살표를 클릭하면 이전 화면인 클러스터 관리 페이지로 이동 요약 어플리케이션 이력 클러스터 정보클러스터 상세 정보가 표시 [AWS]설명, 클라우드, 퍼블릭 DNS, 프라이빗 DNS, 생성 시간, 경과 시간, 생성자, Region, VPC, Subnet, EBS Root [GCP]설명, 클라우드, 퍼블릭 IP, 프라이빗 IP, 생성 시간, 경과 시간, 생성자, Region, Zone, Network, Subnetwork, Master Disk, Worker Disk ID노드에 부여되는 아이디 AWS의 경우 EMR에서 부여한 인스턴스 그룹의 아이디 이고, GCP의 경우 자체 적으로 UUID-{노드 유형} 으로 부여
상태노드의 상태 [AWS]PROVISIONING : 프로비저닝 중 BOOTSTRAPPING : bootstrapping 실행 중 RUNNING : 동작 중 RECONFIGURING : 재구성 상태 RESIZING : 노드 사이즈 변경 중 SUSPENDED : 일시 중지된 상태 TERMINATING : 종료 중 TERMINATED : 종료 됨 ARRESTED : 오류로 중지된 상태 SHUTTING_DOWN : 자동 종료시 마지막 단계 완료 후 상태 [GCP]STOPPING : 중지 중 STOPPED : 중지 됨 SUSPENDING : 일시 중지 중 SUSPENDED : 일시 중지 됨 TERMINATED : 종료 됨 RUNNING : 실행 중 PROVISIONING : 리소스 할당 중 STAGING : 부팅 준비 중 타입 인스턴스 유형 인스턴스 수 어플리케이션 이력#
Statistical Job State Cluster Metrics현재 클러스터의 Metric 정보 종료된 클러스터의 정보는 불러오지 않음 ID 이름 타입 생성시간 종료시간 StateApplication의 상태 NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED Final StateApplication의 마지막 상태 UNDEFINED, SUCCEEDED, FAILED, KILLED
Allocated CPU VCoreApplication에 할당 된 가상 코어, 단위 : virtual core-seconds Allocated Memory MBApplication에 할당 된 메모리, 단위 : megabyte-seconds ProgressApplication의 진행 상태Jupyter, Zeppelin 등 특정 Job은 10%가 유지
ID링크링크를 클릭하면 Application의 상세 이력 내용을 팝업으로 표시 Application 상세이력User : Application을 시작한 사용자 Name : Application 이름 Application Type : Application 타입 Application Tags : 콤마로 구분된 Application 태그들 Application Priority : Application의 우선 순위 YarnApplicationState : ResourceManager에 따른 응용 프로그램 상태 - NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED Queue : Application이 제출된 대기열 FinalStatus Reported by AM: 완료된 Application의 최종 상태 - UNDEFINED, SUCCEEDED, FAILED, KILLED Started : Application이 시작된 시간 Elapsed : Application의 경과 시간 Unmanaged : Application의 관리 여부 Application Node Label expression : Application이 기본적으로 실행될 것으로 예상되는 노드를 식별하는 데 사용되는 노드 레이블 표현식 AM container Node Label expression : Application의 AM 컨테이너가 실행될 노드를 식별하는 데 사용되는 노드 레이블 표현식 Aggregate Resource Allocation VCore : Application에 할당한 CPU 양 (virtual core-seconds) Aggregate Resource Allocation Memory : Application에 할당한 Memory 양 (megabyte-seconds) Diagnostics : 자세한 진단 정보