ambari(암바리) 로 hadoop echo system 설치



서버 4대 생성

root 계정으로

각서버에
yum upgrade -y

각서버에
vi /etc/sysconfig/selinux
selinux=disable

yum install ntp -y

systemctl start ntpd
systemctl enable ntpd

systemctl stop firewalld
systemctl disable firewalld

각서버에 /etc/hosts 파일 수정

10.0.1.11 hadoop01.jung0
10.0.1.12 hadoop02.jung0
10.0.1.13 hadoop03.jung0
10.0.1.14 hadoop04.jung0


hadoop01서버에

암바리 리포 설치
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo

jdbc 설치
mkdir /usr/share/java

cd /usr/share/java

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

tar zxvf *.gz

mv ./my*/*.jar ./


hadoop02서버에 hive 및 oozie 메타 디비 설치

yum install mariadb-server.x86_64

systemctl start mariadb
systemctl enable mariadb

mysqladmin -u root password 'xxxxxxx'

mysql -u root -p

create database hive;
create database oozie;

create user 'hive'@'%' identified by 'xxxxxxx';
grant all on *.* to 'hive'@'hadoop02' identified by 'xxxxxxx';
create user 'oozie'@'%' identified by 'xxxxxxx';
grant all on *.* to 'oozie'@'hadoop02' identified by 'xxxxxxx';
flush privileges;


root 계정 (암바리 운영 계정)

ssh-keygen -t rsa
엔터
엔터
엔터

ssh-copy-id -i jung0@hadoop01
ssh-copy-id -i jung0@hadoop02
ssh-copy-id -i jung0@hadoop03
ssh-copy-id -i jung0@hadoop04




hadoop01에서

root 계정

암바리 설치
yum install ambari-server.x86_64 -y

암바리 설정
ambari-server setup

Customize user account for ambari-server daemon [y/n] (n)?y
jung0
jdk (1번) y
gpl y
db n

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.46.jar

ambari-server start

웨브라우저로
hadoop01:8080   포트로 호스트명으로 접속
pc의 hosts 파일 수정 필요


admin/admin 으로 접속

설치시 private key는
jung0 계정
cd ~/.ssh
cat ./id_rsa
복사해서 붙혀 넣기
SSH User Account 는 jung0으로 변경
=========

HDP-2.6
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0

HDP-2.6-GPL
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0

HDP-UTILS-1.1.0.22
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7

댓글

댓글 쓰기

이 블로그의 인기 게시물

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

CentOS 7 리부팅 없이 새 디스크 인식 (find a new disk without reboot)

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다
자세한 내용 보기

python에서 hive 사용

OS에 sasl 설치 yum install libsasl2-dev 파이선 패키지 설치 pip install sasl pip install thrift pip install thrift-sasl pip install PyHive 연결 from pyhive import hive conn = hive.Connection(host="hive server ip", port=port, username="ID") 사용 cursor = conn.cursor() cursor.execute("SELECT 칼럼 FROM 테이블") for result in cursor.fetchall():   use_result(result) or import pandas as pd df = pd.read_sql("SELECT cool_stuff FROM hive_table", conn) ============================= pip install sasl pip install thrift pip install thrift-sasl pip install pyhs2 import pyhs2 with pyhs2.connect(host='localhost',                    port=10000,                    authMechanism="PLAIN",                    user='root',                    password='test',         ...
자세한 내용 보기