HBASE 설치 1.2.6 (stable) with hadoop 2.9.0 (완전분산모드)

여기저기 구글링하면서 설치하다보니짜맞추기가 쉽지 않다구글 검색해도 옛날에 쓴 글 밖에 없고하둡 설정과 맞춰야 하는 부분이 있어서 쉽지 않았다.
hbase같은 경우는 기존 hadoop 설정의 환경파일과 맞춰주는 작업이 필요하다계속 되는 에러를 겨우 잡았다===============HBASE 다운로드============hbase 다운로드

su - root

cd /home

wget http://mirror.apache-kr.org/hbase/stable/hbase-1.2.6-bin.tar.gz   

tar zxvf ./*.gz

mv ./hbase-1* ./hbase

chown -R hadoop:hadoop ./hbase

================환경변수  추가=========

vi /etc/profile


export HBASE_HOME=/home/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_PID_DIR=/home/hbase/pid


scp -rp /etc/profile root@hadoop01:/etc
scp -rp /etc/profile root@hadoop02:/etc
scp -rp /etc/profile root@hadoop03:/etc

=============환경파일 수정=========


su - hadoop
cd ..
cd hbase
cd conf

vi hbase-site.xml

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop-cluster/hbase</value>
    </property>

    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop:2181,hadoop01:2181,hadoop02:2181</value>
    </property>

        <property>
                <name>hbase.master</name>
                <value>hadoop:6000</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/home/zookeeper/data</value>
        </property>

        <property>
                <name>dfs.datanode.max.xcievers</name>
                <value>4096</value>
        </property>





============환경파일 수정 ==============
/etc/profile에 있는데 이상하게 HBASE 기동시 jdk를 몇대가 못찾는다내가 뭘 잘 못했나... 일단 환경변수에 넣자
자바경로와주키퍼는 HABSE거 말고 따로 설정한거 쓰겠다는 설정임

vi /home/hbase/conf/hbase-env.sh

export JAVA_HOME=/usr/local/java
export HBASE_MANAGES_ZK=false


==================리전 설정==============
리전은 데이타 노드만큼 
난 hadoop이 네임노드면서 데이터노드면서 hbase 마스터노드이면서 리전이다
vi /home/hbase/conf/regionservers

hadoop
hadoop01
hadoop02
hadoop03

 =====================pid 디렉토리 ===============
pid 디렉토리가 없어서 설정

 mkdir /home/hbase/pid

===================== hdfs 설정=============
하둡에 있는 hdfs 설정을 HBASE에 소프트 링크한다 필요한가보다

 ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HBASE_HOME/conf/hdfs-site.xml

=====================HABSE를 다른 노드에 복사한다========
su -root
cd /home
tar cvfz ./hbase.tar.gz ./hbase
scp -rp ./hbase.tar.gz hadoop01:/home
scp -rp ./hbase.tar.gz hadoop02:/home
scp -rp ./hbase.tar.gz hadoop03:/home

 =====================HBASE를 서버마다 압축을 푼다==========
ssh hadoop01
cd /home
tar zxvf ./hbase*.gz
exit

ssh hadoop02
cd /home
tar zxvf ./hbase*.gz
exit

ssh hadoop03
cd /home
tar zxvf ./hbase*.gz
exit

================= HADOOP 안전모드 제거===========
하둡을 운영하다보면 재기동시 불안전한 중단을 하게되면안전모드에 빠진다고 한다안전모드에 빠지면 HBASE 기동시 에러가 난다나중에 기동 스크립트에 넣어줘야 겠다

hdfs dfsadmin -safemode leave
=============기동==========

 드디어 기동

 cd /home/habse/bin

 ./start-hbase.sh nohup ./hbase thrift start &

 ==============쉘에 접속=======
드디어 쉘 접속

 hbase shell

댓글

댓글 쓰기

이 블로그의 인기 게시물

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

CentOS 7 리부팅 없이 새 디스크 인식 (find a new disk without reboot)

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다
자세한 내용 보기

python에서 hive 사용

OS에 sasl 설치 yum install libsasl2-dev 파이선 패키지 설치 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 연결 from pyhive import hive conn = hive.Connection(host="hive server ip", port=port, username="ID") 사용 cursor = conn.cursor() cursor.execute("SELECT 칼럼 FROM 테이블") for result in cursor.fetchall():   use_result(result) or import pandas as pd df = pd.read_sql("SELECT cool_stuff FROM hive_table", conn) ============================= pip install sasl pip install thrift pip install thrift-sasl pip install pyhs2 import pyhs2 with pyhs2.connect(host='localhost',                    port=10000,                    authMechanism="PLAIN",                    user='root',                    password='test',         ...
자세한 내용 보기