OOZIE 5.0.0 설치 (DB를 MariaDB사용)

maven은 설치되어있어야 한다.
삽질의 연속5.0.0 버전으로  oozie-site.xml을 수정하지 않고 derby DB를 사용하면 큰 문제없이 구성가능DB를 MariaDB로 사용하려다보니 삽질의 연속결국 DB는 MariaDB를 사용해도 되는데 드라이버를  mariadb를 사용해서 계속 에러나다가mysql걸 사용하니 프로세스 기동이 되었다.
===============다운로드

su - 

cd /home

http://apache.tt.co.kr/oozie/5.0.0/oozie-5.0.0.tar.gz

export MAVEN_OPTS=-Xmx1024m

tar zxvf ./oozie-5.0.0.tar.gz

cd oozie-5.0.0

bin/mkdistro.sh -DskipTests
오래 걸린다
오래 걸리다가메모리 부족으로 오류 나기도한다.
가상화라면 메모리를 추가하거나 확보해놓고 시도하자

 ============만들어진 바이너리를 푼다========== 

cp ./distro/target/oozie-5.0.0/*.gz /home 

cd /home 
mv oozie-5.0.0 ./oozie-5.0.0-src 
tar zxvf ./oozie-5.0.0.tar.gz 
mv ./oozie-5.0.0 ./oozie 
chown -R hadoop:hadoop ./oozie 

=====================DB 계정만들고 
mysql -u root -p 

 create user 'oozie'@'%' identified by '비번'; 

 grant all on *.* to 'oozie'@'localhost' identified by '비번';

 grant all on *.* to 'oozie'@'hadoop' identified by '비번';

 flush privileges; 

 create database oozie; 

===============디비  환경설정  
<property>  
<name>oozie.service.JPAService.jdbc.url</name>  
<value>jdbc:mysql://10.0.0.6:3306/oozie</value>  
</property>  


<property>  
<name>oozie.service.JPAService.create.db.schema</name>  
<value>true</value>  
</property>  


<property>  
<name>oozie.service.JPAService.jdbc.driver</name>  
<value>com.mysql.jdbc.Driver</value>  
</property>  


<property>  
<name>oozie.service.JPAService.jdbc.username</name>  
<value>oozie</value>  
</property>  

<property>  
<name>oozie.service.JPAService.jdbc.password</name>  
<value>비번</value>  
</property>  

======================JDBC 복사============ 

cd /home/oozie/libext 

하이브 설치할때 받아놓은 드라이버

 cp -rp /home/hive/lib/mysql* ./

 ==================라이브러리 복사

 cd /home/oozie
mkdir libext
cd libext

 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip

mv /home/oozie/libext/ext-2.2.zip /home/oozie/libext/exit-2.2

 cp /home/oozie-5.0.0-src/server/target/dependency/*.jar libext

su - hadoop

 ./bin/oozie-setup.sh sharelib create -fs hdfs://hadoop-cluster

 cd /home/oozie/bin

 vi oozie-jetty-server.sh-cp 뒤에  /home/oozie/libext/*:   추가


 ========디비 설정
./bin/ooziedb.sh create -sqlfile oozie.sql -run

=====jetty 설정
./bin/oozie-setup.sh

========데몬으로 시작

./bin/oozied.sh start

=======기타상태보기
./oozie admin --oozie http://hadoop:11000/oozie -status 

 =========포그라운드로 시작

 ./bin/oozied.sh run

댓글

댓글 쓰기

이 블로그의 인기 게시물

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

CentOS 7 리부팅 없이 새 디스크 인식 (find a new disk without reboot)

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다
자세한 내용 보기

python에서 hive 사용

OS에 sasl 설치 yum install libsasl2-dev 파이선 패키지 설치 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 연결 from pyhive import hive conn = hive.Connection(host="hive server ip", port=port, username="ID") 사용 cursor = conn.cursor() cursor.execute("SELECT 칼럼 FROM 테이블") for result in cursor.fetchall():   use_result(result) or import pandas as pd df = pd.read_sql("SELECT cool_stuff FROM hive_table", conn) ============================= pip install sasl pip install thrift pip install thrift-sasl pip install pyhs2 import pyhs2 with pyhs2.connect(host='localhost',                    port=10000,                    authMechanism="PLAIN",                    user='root',                    password='test',         ...
자세한 내용 보기