Programmer

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...

#iris.csv 파일 # https://drive.google.com/file/ d/1yEUuNncddpbMIyTkDKKYa0Ks_ vo4IbaO/view?usp=drivesdk import pandas as pd from sklearn import svm, metrics from sklearn.model_selection import train_test_split # 붓꽃의 CSV 데이터 읽어 들이기 --- (※1) csv = pd.read_csv('iris.csv') # 필요한 열 추출하기 --- (※2) csv_data = csv[["SepalLength","SepalWidth","PetalLength","PetalWidth"]] csv_label = csv["Name"] # 학습 전용 데이터와 테스트 전용 데이터로 나누기 --- (※3) train_data, test_data, train_label, test_label = \ train_test_split(csv_data, csv_label) # 데이터 학습시키고 예측하기 --- (※4) clf = svm.SVC() clf.fit(train_data, train_label) pre = clf.predict(test_data) # 정답률 구하기 --- (※5) ac_score = metrics.accuracy_score(test_label, pre) print("정답률 =", ac_score)

#행렬을 데이터프레임에 넣어서 데이터와 답을 분리해서 학습과 예측 import pandas as pd from sklearn import svm, metrics # XOR 연산 xor_input = [     [0, 0, 0],     [0, 1, 1],     [1, 0, 1],     [1, 1, 0] ] # 입력을 학습 전용 데이터와 테스트 전용 데이터로 분류하기 --- (※1) xor_df = pd.DataFrame(xor_input) xor_data  = xor_df.loc[:,0:1] # 데이터 xor_label = xor_df.loc[:,2]   # 레이블 # 데이터 학습과 예측하기 --- (※2) clf = svm.SVC() clf.fit(xor_data, xor_label) pre = clf.predict(xor_data) # 정답률 구하기 --- (※3) ac_score = metrics.accuracy_score(xor_label, pre) print("정답률 =", ac_score)

#행렬에서 데이터와 답을 추출해서 학습과 예측을 시행 from sklearn import svm # XOR의 계산 결과 데이터 --- (※1) xor_data = [     #P, Q, result     [0, 0, 0],     [0, 1, 1],     [1, 0, 1],     [1, 1, 0] ] # 학습을 위해 데이터와 레이블 분리하기 --- (※2) data = [] label = [] for row in xor_data:     p = row[0]     q = row[1]     r = row[2]     data.append([p, q])     label.append(r) # 데이터 학습시키기 --- (※3) clf = svm.SVC() clf.fit(data, label) # 데이터 예측하기 --- (※4) pre = clf.predict(data) print(" 예측결과:", pre) # 결과 확인하기 --- (※5) ok = 0; total = 0 for idx, answer in enumerate(label):     p = pre[idx]     if p == answer: ok += 1     total += 1 print("정답률:", ok, "/", total, "=", ok/total)

#직접 데이터와 값을 넣고 학습 시키고 이후에 데이터만 넣어서 예측 from sklearn import svm clf = svm.SVC() clf.fit([     [0,0],     [1,0],     [0,1],     [1,1] ], [0,1,1,0]) results = clf.predict([         [0,0],         [1,0] ]) print(results)

============= 사전준비 설치 ============= * 난 openstack에 사용되는 계정의 비번은 demo01로하고   mysql에 들어가는 계정의 비번은  openstack.org 의 설치 가이드대로 했다   controller 노드 = openstack01   compute 노드 = openstack02 ########################### controller openstack01 yum install chrony vi /etc/chrony.conf server "타임서버아이피" iburst allow  10.0.0.0/24 systemctl enable chronyd.service systemctl restart chronyd.service chronyc sources ########################### compute openstack02, openstack03 yum install chrony vi /etc/chrony.conf server openstack01 iburst systemctl enable chronyd.service systemctl restart chronyd.service chronyc sources ########################### controller openstack01 yum upgrade -y yum install centos-release-openstack-pike yum install  https://rdoproject.org/repos/ rdo-release.rpm yum upgrade yum install python-openstackclient yum install openstack-selinux ======================== yum install mariadb mariadb-server python2-PyMySQL vi /e...

vi /etc/sysconfig/network-script/ifcfg-eth0 ※ eth0은 인터페이스명으로 ONBOOT=yes BOOTPROTO="static" IPADDR="10.0.0.44" GATEWAY="10.0.0.1" DNS1="8.8.8.8"

hostnamectl set-hostname 호스트명

CUDA_VISIBLE_DEIVCES=x pythone xx.py

암바리 2.6.2를 그냥 설치하면  HDFS가 이중화가 안되어 있다 이중화를 하려면 서비스가 모두 기동된 상태에서 HDFS를 선택하고  오른쪽 서비스 버튼을 눌러서  enable ha를 선택하고 하라는 대로 진행하면 된다.  마찬가지로  YARN을 선택하고  오른쪽 서비스 버튼 눌러서 Enable ha 를 선택하고 하라는 대로 진행하면 된다.

Falcon major 에러 ( Falcon이 하둡 2.5 이상부터 버클리 디비 접속이 필요하다고 한다 드라이버 설치하면 되는것 같다.) 암바리가 설치된 서버에서 아래 명령어  cd  /usr/share/java wget –O je-5.0.73.jar http://search.maven.org/remotecontent?filepath=com/sleepycat/je/5.0.73/je-5.0.73.jar mv ./"remotecontent?filepath=com%2Fsleepycat%2Fje%2F5.0.73%2Fje-5.0.73.jar" ./je-5.0.73.jar chmod 644 /usr/share/java/je-5.0.73.jar ambari-server setup --jdbc-db=bdb --jdbc-driver=/usr/share/java/je-5.0.73.jar ambari-server restart 암바리 웹 UI 접속해서 Falcon 서비스 리스타트

인터넷이 되는곳에서 다운받고 pip install --download /download scikit-learn 인터넷이 안되는곳에 복사해놓고 설치하면 된다 pip install --no-index --find-links=/download scikit-learn

모든 서버에서 yum remove -y hive\* yum remove -y oozie\* yum remove -y pig\* yum remove -y zookeeper\* yum remove -y tez\* yum remove -y hbase\* yum remove -y ranger\* yum remove -y knox\* yum remove -y storm\* yum remove -y accumulo\* ambari-server stop ambari-agent stop yum erase -y ambari-server yum erase -y ambari-agent rm -rf /var/log/ambari-agent rm -rf /var/log/ambari-metrics-grafana rm -rf /var/log/ambari-metrics-monitor rm -rf /var/log/ambari-server/ rm -rf /var/log/falcon rm -rf /var/log/flume rm -rf /var/log/hadoop rm -rf /var/log/hadoop-mapreduce rm -rf /var/log/hadoop-yarn rm -rf /var/log/hive rm -rf /hadoop/* rm -rf /hdfs/hadoop rm -rf /hdfs/lost+found rm -rf /hdfs/var rm -rf /local/opt/hadoop rm -rf /tmp/hadoop rm -rf /usr/bin/hadoop rm -rf /usr/hdp rm -rf /var/hadoop rm -rf /etc/ambari-agent rm -rf /etc/ambari-metrics-grafana rm -rf /etc/ambari-server rm -rf /etc/ams-hbase rm -rf /etc/falcon rm -rf /etc/flume rm -rf /etc/hadoop rm...

================ local repository 만들 서버에 ================== yum install -y httpd.x86_64 systemctl start httpd systemctl enable httpd make -p /var/www/html cd /vat/www/html wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz tar zxvf ./ambari-2.6.2.0-centos7.tar.gz cd ambari-2*/centos7 mv ./2*/* ./ wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz tar zxvf ./HDP-2.6.5.0-centos7-rpm.tar.gz wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz tar zxvf ./HDP-UTILS-1.1.0.22-centos7.tar. wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz tar zxvf ./HDP-GPL-2.6.5.0-centos7-gpl.tar.gz ========================= 하둡 설치할 서버에 (클러스터 모두에) ============================ /etc/yu m.repos.d/ambari.repo   [Updates-Ambari-2.6.2.0]...

서버 4대 생성 root 계정으로 각서버에 yum upgrade -y 각서버에 vi /etc/sysconfig/selinux selinux=disable yum install ntp -y systemctl start ntpd systemctl enable ntpd systemctl stop firewalld systemctl disable firewalld 각서버에 /etc/hosts 파일 수정 10.0.1.11 hadoop01.jung0 10.0.1.12 hadoop02.jung0 10.0.1.13 hadoop03.jung0 10.0.1.14 hadoop04.jung0 hadoop01서버에 암바리 리포 설치 wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo -O /etc/yum.repos.d/ambari.repo jdbc 설치 mkdir /usr/share/java cd /usr/share/java wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz tar zxvf *.gz mv ./my*/*.jar ./ hadoop02서버에 hive 및 oozie 메타 디비 설치 yum install mariadb-server.x86_64 systemctl start mariadb systemctl enable mariadb mysqladmin -u root password 'xxxxxxx' mysql -u root -p create database hive; create database oozie; create user 'hive'@'%' identified by 'xxxxxxx'; gra...