hdfsToS3

Definition

HDFS 파일/폴더를 S3에 복사 하는 노드이다. 좌측 [Flow구성]노드 중 [hdfsToS3]노드를 drag & drop 한 후 Property 항목을 입력한다. Property 패널의 [더보기+] 버튼을 누르면 입력가능한 전체 Property 항목을 볼 수 있다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우 생성] > [설정]을 참고한다.

property

[Node Description] 작성 중인 노드명 입력

1. hdfs파일경로(불러오기) : 복사할 파일 경로 선택
2. S3 파일경로 (저장경로) : 저장할 S3 파일경로 선택
3. ETL 결과파일 여부 : ETL 결과파일을 로드하려는 경우에 True 선택
4. Credential : S3 엑세스 정보 ( S3 파일경로 선택시 자동셋팅됨 )

Example

HDFS 파일에 적재된 데이터를 S3에 복사한다.

1. hdfs파일경로(불러오기)에서 [팝업열기] 버튼을 눌러 클러스터와 데이터를 선택한다.

2. S3 파일경로(저장경로)에서 [팝업열기] 버튼을 눌러 Bucket 및 저장경로를 선택한다. 우측 [Bucket관리] 버튼을 눌러 버킷을 추가할 수 있다. S3 파일경로를 선택하면 4. Credential은 자동 셋팅된다.

• [Bucket관리] 버튼을 눌러 신규버킷 생성할 수 있음

3. ETL 결과파일 여부는 True를 선택한다.