Sqoop2 설치 1.99.4 with Hadoop 2.9.0 (CentOS 7.4)


=========스쿱2 웹에서 다운로드 경로=========
처음에 1.99.7을 설치했었는데 mariadb 혹은 mysql과 연결시 warnning이 나면서 잘안됐다jdbc 문제인가 싶었는데 1.99.6으로 내리니깐 잘됨...쩝..
그런데 한가지 더  HUE랑 연동하려니 1.99.6도 커넥터는 보이나 잡을 생성 할 수 없다고 에러가 남
이것저것 해보니 1.99.4가 커넥터도 나오고 잡도 수행이 된다.
주소 : sqoop.apache.org

=========터미널 다운로드 경로=========

 su - root (/home에 write 권한을 root만 주었기 때문에)

 cd /home

wget https://archive.apache.org/dist/sqoop/1.99.6/sqoop-1.99.6-bin-hadoop200.tar.gz


=========압축 제거=========

 tar -zxvf ./sqoop-1.99.6-bin-hadoop200.tar.gz 

=========/home/sqoop으로 이관=========
mv ./soop* /home/sqoop
chown -R hadoop:hadoop /home/sqoop

========환경파일 수정==========

 .bashrc  에 넣어도 되겠지만 난 그냥 /etc/profile에 모두 때려 넣었다.

 vi /etc/profile

 난 아래 내용이 이미 hadoop 설치할때 들어가 있다.

 export HADOOP_HOME=/home/hadoop
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}

스쿱을 위해 아래 3줄을 더 추가한다

 export SQOOP_HOME=/home/sqoop

 export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2

 /export PATH=$PATH:$SQOOP_HOME/bin

=========하둡 환경 파일 수정=========
su - hadoop

 cd ~

 cd etc/hadoop

 vi core-site.xml 

아래 내용을 추가 한다.
 hadoop 부분에 sqoop을 기동시키는 user로 작성

<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
</property>
</configuration>

vi container-executor.cfg

아래와 같이 수정한다.

 allowed.system.users=hadoop##comma separated list of system users who CAN run applications



####=========jar 파일 복사========= 

 (1.99.6에서는 이걸 안하고 카탈리나를 수정한다..)

 #su - root
#mkdir /var/lib/sqoop2
#cp -R $HADOOP_HOME/share/hadoop/common/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/common/lib/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/hdfs/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/hdfs/lib/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/mapreduce/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/mapreduce/lib/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/yarn/*.jar /var/lib/sqoop2/
#cp -R $HADOOP_HOME/share/hadoop/yarn/lib/*.jar /var/lib/sqoop2/
#chown -R hadoop:hadoop /var/lib/sqoop2

 ==================카탈리나 수정

 vi /home/sqoop/server/conf/catalina.properties

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,/home/sqoop/server/lib,/home/sqoop/server/lib/*.jar,/home/sqoop/server/lib/../lib/*.jar,/home/hadoop/share/hadoop/common/*.jar,/home/hadoop/share/hadoop/common/lib/*.jar,/home/hadoop/share/hadoop/hdfs/*.jar,/home/hadoop/share/hadoop/hdfs/lib/*.jar,/home/hadoop/share/hadoop/mapreduce/*.jar,/home/hadoop/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/share/hadoop/yarn/*.jar,/home/hadoop/share/hadoop/yarn/lib/*.jar,/home/hive/lib/*.jar

 ===========================

 vi /home/sqoop/server/conf/sqoop.properties

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/etc/hadoop

=========구동=========

 su - hadoopcd /home/sqoop

 업그레이드

 ./bin/sqoop2-tool upgrade

 검증

 ./bin/sqoop2-tool verify

 시작

 ./bin/sqoop2-server start

 쉘

 ./bin/sqoop2-shell

종료

 ./bin/sqoop2-server stop

댓글

댓글 쓰기

이 블로그의 인기 게시물

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

CentOS 7 리부팅 없이 새 디스크 인식 (find a new disk without reboot)

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다
자세한 내용 보기

python에서 hive 사용

OS에 sasl 설치 yum install libsasl2-dev 파이선 패키지 설치 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 연결 from pyhive import hive conn = hive.Connection(host="hive server ip", port=port, username="ID") 사용 cursor = conn.cursor() cursor.execute("SELECT 칼럼 FROM 테이블") for result in cursor.fetchall():   use_result(result) or import pandas as pd df = pd.read_sql("SELECT cool_stuff FROM hive_table", conn) ============================= pip install sasl pip install thrift pip install thrift-sasl pip install pyhs2 import pyhs2 with pyhs2.connect(host='localhost',                    port=10000,                    authMechanism="PLAIN",                    user='root',                    password='test',         ...
자세한 내용 보기