KAFKA 설치 2.11-1.1.0

===========KAFKA 2.11-1.1.0 설치

먼저 zookeeper 가 설치 되어있어야 한다.

난 hadoop, hadoop01, hadoop02에 설치가 되어있다. (하둡 완전 분산 모드 설치 시 설치 함.)

su - root

chown hadoop:hadoop /home (/home에 hadoop계정으로 설치를 많이 해서 변경했다.)

su - hadoop

cd /home

wget http://mirror.apache-kr.org/kafka/1.1.0/kafka_2.11-1.1.0.tgz

tar zxvf ./kafka/1.1.0/kafka_2.11-1.1.0.tgz

mv ./kafka/1.1.0/kafka_2.11-1.1.0.tgz ./kafka

==============환경설정

cd kafka

cd config

vi server.properties 

hadoop, hadoop01, hadoop02 서버 3대에 모두 들어가서

broker.id=1로 변경 (hadoop01,hadoop02 는 각각 2, 3으로 변경)

vi zookeeper.properties

maxSessionTimeout=180000
server.1=hadoop:2888:3888
server.2=hadoop01:2888:3888
server.3=hadoop02:2888:3888

추가

===================기동
cd /home/kafka/bin

 ./kafka-server-start.sh /home/kafka/config/server.properties 

3개 서버 모두 기동

================상태 확인
su - zookeeper
cd /home/zookeeper/bin
./zkCli.sh

=============테스트
hadoop 서버에서
su - hadoop
cd /home/kafka/bin
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2  --partitions 1 --topic testing

hadoop01 서버에서
su - hadoop
cd /home/kafka/bin
./kafka-topics.sh --list --zookeeper localhost:2181
--------------
hadoop 서버에서
su - hadoop
cd /home/kafka/bin
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic testing --from-beginning

hadoop01서버에서
su - hadoop
cd /home/kafka/bin
./kafka-console-producer.sh --broker-list localhost:9092 --topic testing

--------------
hadoop01 서버에서>hello World?   (입력하면)
hadoop 서버에 hello world  (찍힌다.)