Programmer

직접 구성해본 하둡에코시스템에 대해서 구성도 및 사용했던 부분을 캡춰 해봤다. 하둡아키텍처 하둡에코시스템 아키텍처 휴 로그인 화면 HUE에서 RDBMS -> HDFS로 import HUE에서 HDFS -> HIVE import HUE에서 HDFS -> HIVE import (계속) HUE에서 HIVE MapReduce HUE에서 일반 RDBMS 쿼리 HUE에서 HBase 관리 FLume 구성 타조 구성

import urllib.request as req import gzip, os, os.path savepath = "./mnist" baseurl = " http://yann.lecun.com/exdb/mnist " files = [     "train-images-idx3-ubyte.gz", # 학습 전용 이미지 데이터     "train-labels-idx1-ubyte.gz", # 학습 전용 레이블 데이터     "t10k-images-idx3-ubyte.gz",  # 테스트 전용 이미지 데이터     "t10k-labels-idx1-ubyte.gz"]  # 테스트 전용 레이블 데이터 # 다운로드 if not os.path.exists(savepath): os.mkdir(savepath) for f in files:     url = baseurl + "/" + f     loc = savepath + "/" + f     print("download:", url)     if not os.path.exists(loc):         req.urlretrieve(url, loc) # GZip 압축 해제 for f in files:     gz_file = savepath + "/" + f     raw_file = savepath + "/" + f.replace(".gz", "")     print("gzip:", f)     with gzip.open(gz_file, "rb") as fp:       ...

conda -V   #버전확인 conda update conda #업그레이드 conda create -n jung0 python=3.6 anaconda  # 가상환경 생성 python 3.6에 anaconda 설치 activate jung0  # 가상화 환경 진입

openstack network create  --share --external \   --provider-physical-network provider \   --provider-network-type flat provider openstack subnet create --network provider \   --allocation-pool start=172.17.100.101,end=172.17.100.250 \   --dns-nameserver 8.8.4.4 --gateway 172.17.100.1 \   --subnet-range 172.17.100.0/24 provider openstack flavor create --id 0 --vcpus 1 --ram 64 --disk 1 m1.nano ssh-keygen -q -N "" openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey openstack keypair list openstack security group rule create --proto icmp default openstack security group rule create --proto tcp --dst-port 22 default openstack flavor list openstack image list openstack network list openstack security group list openstack server create --flavor m1.nano --image cirros \   --nic net-id=ad0cafad-60c4-446e-b705-43bd8d32086d --security-group default \   --key-name mykey provider-instance openstack server list  #난 여기서 ...

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다

PostgreSQL에서 초기화 한다 암바리 서버에서 디비로 들어간다 psql -U ambari 비번입력 update ambari.users set user_password='538916f8943ec225d97a9a86a2c6ec0818c1cd400e09e03b660fdaaec4af29ddbb6f2b1033b81b00' where user_name='admin'; psql에서 exit (Ctrl + d) ambari-server restart 암바리 접속 admin/admin 으로 변경 되었습니다.

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...