2021년 3월 21일 일요일

[ Hive ] Serde가 적용된 Hive테이블 컬럼 추가&변경


Hive Table Column Add는 Table에 서데가 적용되어 있으면 수행할 수 없다.

Column Replace 또한 마찬가지.


1. 새로운 스키마로 Hive Table을 만든다.


2-1. 기존에 있던 파티션을 새 Table의 파티션으로 수정한다.

Ex. Alter Table [테이블명] Partition (yymmdd='20210321') Set Location 'hdfs://127.0.0.1/user';


2-2. 새 테이블의 빈 파티션을 생성한 후, 기존 테이블의 서데파일(000000_0)을 새 테이블 파티션 위치로 옮긴다. 

Ex. sudo -u hdfs hdfs -dfs cp /user/hive/old../ /user/hive/new..../ 




그외 유용한 커멘드


* 테이블 정보 위치 확인

desc formatted [Table Name];


*테이블 파티션 리스트확인

show partitions [Table Name];


* 새 파티션 추가

Alter Table [Table Name] Add Partition (yymmdd='20210321');


* 파티션 LOCATION 수정

Alter Table [테이블명] Partition (yymmdd='20210321') Set Location 'hdfs://127.0.0.1/user';


* 파티션 삭제

Alter Table [Table Name] Drop Partition (yymmdd'20210321');


댓글 없음:

댓글 쓰기