[ 1. Sqoop Tools ]
스쿱은 도구모음이다. 커맨드라인에 커맨드와 인자를 입력하여 사용한다. 다른 프로그램없이 자체 스쿱소스로 컴파일 될 경우, bin/sqoop 프로그램을 실행하여 sqoop을 사용할 수 있다. 스쿱 패키지 배포(apache bigtop과 함께 제공된 RPM등) 사용자는 프로그램을 /usr/bin/sqoop으로 설치하게 된다.
Sqoop의 사용설명서는 'help'로 볼 수 있다.
$sqoop help
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
특정 인자에 대한 설명은 아래와 같이 메뉴얼을 확인할 수 있다.
$ sqoop help import
1-1. 커맨드별칭(Using Command Aliases)
sqoop import를 sqoop-import로, sqoop export를 sqoop-export 별칭으로 사용가능하다.
1-2. 하둡 설치 제어 (Controlling the hadoop Installation)
스쿱을 통해 하둡 bin/hadoop 스크립트를 실행 할 수 있다. 여러 개의 하툽이 설치되어 있는 경우 $HADOOP_CONMANY_HOME 또는 $HADOOP_MAPRED_HOME 환경변수를 이용해 하둡을 선택하여 설치한다.
예시 :
$ HADOOP_COMMON_HOME=/path/to/some/hadoop \ HADOOP_MAPRED_HOME=/path/to/some/hadoop-mapreduce \ sqoop import --arguments...
또는 :
$ export HADOOP_COMMON_HOME=/some/path/to/hadoop $ export HADOOP_MAPRED_HOME=/some/path/to/hadoop-mapreduce $ sqoop import --arguments...
1-3. 인수사용 ( Using Generic and Specific Arguments )
* 일반 인수
- --connect <jdbc-uri> : 접속할 JDBC 주소
- --connect-manager <class-name> : 사용할 연결 관리자
- --driver <class-name> : JDBC driver class 지정
- --hadoop-mapred-home <dir> : Override $HADOOP_MAPRED_HOME
- --help : 도움말
- --password-file : 인증관련 파일 경로
- -P : 콘솔에서 비밀번호를 읽을 때
- --password <password> : 인증패스워드 SET
- --username <username> : 유저이름 SET
- --hadoop-home <dir> : Override $HADOOP_HOME
* 하둡 관련 인수
- -conf : 특성 어플리케이션 설정파일 지정
- -D <property=value> : 주어진 property-value를 사용한다.
- -fs <local | namenode:port> : 네임노드 지정
- -files <comma separated list of files> : 지정할 맵리듀스 클러스터 파일
- -libjars <comma separated list of jars> : 지정할 jar파일 경로
- -archives <comma separated list of archives> : 지정할 아카이브
-conf, -D와 같은 인수는 --connect와 같은 인수 앞에 같이 사용 할 수 있다. 하둡인수는 단일 대쉬문자(-)로 표현되고 도구별 인수는 (--)더블 대쉬로 표현된다.
-files, -libjars, -archives 인수는 sqoop과 함께 사용되지 않지만, 하둡 내부 인수로 시스템 일부에 포함되어있다.
1.4 옵션 파일을 이용한 명령어
$sqoop import --connect jdbc:mysql://localhost/db --username john --table TT
$sqoop --options-file /user/home/work/import.txt --table TT
*import.txt 내용
import --connect jdbc:mysql://localhost/db --username foo
