hdfsToS3

Definition

HDFS 파일/폴더를 S3에 복사 하는 노드입니다.
좌측 [Flow구성]노드 중 [hdfsToS3]노드를 drag & drop 한 후 Property 항목을 입력합니다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있습니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

1. HDFS 파일 경로(불러오기) : 복사할 파일 경로 선택
2. S3 파일 경로(저장경로) : 저장할 S3 파일 경로 선택
3. ETL 결과파일 여부 : ETL 결과파일을 로드하려는 경우에 True 선택
4. Credential : S3 엑세스 정보(S3 파일경로 선택시 자동셋팅됨)

Example

HDFS 파일에 적재된 데이터를 S3에 복사합니다.

1. [1.hdfs파일경로(불러오기)]에서 [팝업열기] 버튼을 눌러 클러스터와 데이터 선택
2. [2.S3 파일경로(저장경로)]에서 [팝업열기] 버튼을 눌러 Bucket 및 저장경로 선택, 우측 [Bucket관리] 버튼을 눌러 버킷을 추가 가능
   • [Bucket관리] 버튼을 눌러 신규버킷 생성 가능
     
3. ETL 결과파일 여부는 True 선택