Connect HIVE by JDBC

URL :

jdbc:hive2://CLUSTERNAME.azurehdinsight.net:443/default;transportMode=http;ssl=true;httpPath=/hive2

jdbc:hive://localhost:10000/default



DRIVER :
 
org.apache.hive.jdbc.HiveDriver

댓글

댓글 쓰기

이 블로그의 인기 게시물

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

CentOS 7 리부팅 없이 새 디스크 인식 (find a new disk without reboot)

가상화 환경 혹은 클라우드에서 새로운 디스크를 추가하고 리눅스 서버 리부팅 없이 인식하여 사용할 필요성이 생겼다.  =============================== cd /sys/class/scsi_host ls -al host0 부터 들어가서 아래와 같이 한다 echo "- - -" > /sys/class/scsi_host/host0/scan host1이 있으면 그것도.. echo "- - -" > /sys/class/scsi_host/host1/scan fisk -l 하면 나온다
자세한 내용 보기

HUE 사용자에 대해 DB 및 Table 권한 할당 방법

이미지
미션 HUE에 일반 계정 (OS계정과 도일)으로 로그인해서 DB를 볼 수 있도록 설정해주고 csv 파일을 업로드해서 바로 테이블을 만들고 쿼리를 날리게 하고 싶다. ================================= 방법 (생각보다 권한관련 어려움이 있음) 사용자는 어떤 그룹에 속하고 그 그룹은 "DB경로"와 "사용자 경로"의 그룹명과 일치하면서 권한(rwx)이 있어야 한다. DB경로 (그룹권한에 rwx 필요)    /user/hive/warehouse/db명 사용자 경로 (그룹권한에 rwx 필요)   /user/사용자명    -> Hue에서 csv 파일을 업로드해 놓을 공간 hue에서 왼쪽 메뉴에 보안 메뉴로 가서 role을 선택해서 그룹에 대해서 권한을 주면 된다 db에 대한 권한, 사용자 경로에 대한 권한, db경로에 대한 권한 을 준다
자세한 내용 보기