파이썬에서 특정 GPU만 선택해서 돌릴때


CUDA_VISIBLE_DEIVCES=x pythone xx.py

댓글

댓글 쓰기

이 블로그의 인기 게시물

GRUB 설정 CeotOS7

윈도우 설치 -> 리눅스 설치 하면 grub에서 윈도우랑 리눅스 멀티 부팅을 하도록 자동으로 잡아준다 하지만 여기에 다시 리눅스를 설치하면 기존 grub설정에서 윈도우는 사라진다 다시 윈도우랑 멀티 부팅을 하고 윈도우를 default 부팅으로 하기 위한 설정이다. 리눅스 설치 후 윈도우 설치시에 멀티부팅 방법은 다음 기회에... fdisk -l | more    Device Boot      Start         End      Blocks   Id  System /dev/sda1   *        2048      206847      102400    7  HPFS/NTFS/exFAT /dev/sda2          206848   249700351   124746752    7  HPFS/NTFS/exFAT /dev/sda3       499191808   500113407      460800   27  Hidden NTFS WinRE /dev/sda4       249700352   499191807   124745728    5...
자세한 내용 보기

LSF (GPU 스케쥴링) 명령어 사용법

=================주로사용하는 명령어============================ # 큐 확인 bqueues # 큐 선택방법 Deep learning을 할거면 s822lc_p100nvme 라는 queue job을 submit HPC을 할거면 s822lc_p100 라는 queue job을 submit # 스케쥴링 걸어서 실행 (-x는 혼자 한장의 GPU만 쓰더라도 전체를 독점적으로 쓰겠다는 옵션) bsub -R "select[ngpus>0] rusage[ngpus_excl_p=1]" -x -q s822lc_p100nvme PYTHONPATH=/~/bin/python /~/cifar10_main.py # 수행 중인 Job-id에 대한 정보 (Job-id는 위에 스케쥴링 걸어서 실행하면 보여줌) bhist -l Job-id =================명령어 설명============================ bqueues : job을 submit할 큐의 정보를 보여줍니다 bsub : job을 큐에 submit 해줍니다 bjobs : 큐에 submit된 job의 상태를 보여줍니다 bhist : 현재 수행 중인, 혹은 이미 수행이 끝난 job의 history를 보여줍니다 bkill : submit되어 현재 수행 중인 상태의 job을 도중에 kill 시켜 줍니다 bhosts : 수퍼컴 클러스터 내의 노드들 상황을 보여줍니다. ==================예제=========================== # 쉘스크립트 작성 b7p193aa@p10login1:~$ cat cifar10.sh  #!/bin/bash  source /opt/DL/tensorflow/bin/tensorflow-activate  source /opt/DL/bazel/bin/bazel-activate  export FLOWERS_DIR=/gpfs/gpfs_gl4_16mb/...
자세한 내용 보기

hue oozie setup

f after installing your cluster and submitting some Oozie jobs you are seeing this type of error: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 2015-03-11 09:11:19,821  WARN ActionStartXCommand:544 - SERVER[ local ] USER[hue] GROUP[-] TOKEN[] APP[pig-app-hue-script] JOB[0000000-150311091052117-oozie-hue-W] ACTION[0000000-150311091052117-oozie-hue-W@pig] Error starting action [pig]. ErrorType [FAILED], ErrorCode [It should never happen], Message [File /user/oozie/share/lib does not exist] org.apache.oozie.action.ActionExecutorException: File /user/oozie/share/lib does not exist      at org.apache.oozie.action.hadoop.JavaActionExecutor.addShareLib(JavaActionExecutor.java:601)      at org.apache.oozie.action.hadoop.JavaActionExecutor.addActionShareLib(JavaActionExecutor.java:725)      at org.apache.oozie.action.hadoop.JavaActionExecutor.addAllShareLibs(JavaActionExecutor.java:707)...
자세한 내용 보기