本文搭建一个三节点的Kafka集群。该集群有三个Zookeeper、三个Kafka Broker。

一、准备工作

1. 解压kafka安装包，获得如下目录：

   unzip kafka_2.11-0.11.0.1.zip kafka_2.11-0.11.0.1 

2. Kafka目录结构：

   cd kafka_2.11-0.11.0.1 tree -L 1 

   展示如下内容：

   . ├── LICENSE ├── NOTICE ├── bin ├── config ├── libs ├── logs └── site-docs 

二、搭建Zookeeper集群

1. 将目录切换到Kafka 的config 目录，要修改的主要是server.properties以及zookeeper.properties两个配置文件。

   server.properties					kafka配置文件 zookeeper.properties				zookeeper配置文件 

   对Kafka感兴趣的童鞋们可前往 https://www.cnblogs.com/jun1019/p/6256371.html 了解Kafka常用配置属性详解。

2. 修改zookeeper.properties ：

   initLimit=10 syncLimit=5 dataDir=/Users/apple/Desktop/zookeeper  # zookeeper的快照存储地址 clientPort=2181							# zookeeper端口 maxClientCnxns=0						# 单个客户端与单台服务器之间的连接数的限制 server.1=IP1:2888:3888		# server.x中的x要与myid中的数字一致，2888用于follower与leader之间的数据同步与其他通信；3888用于leader选举时的通信。 server.2=IP2:2889:3889 server.3=IP3:2890:3890 

   Zookeeper配置详解可参考：http://blog.csdn.net/lengzijian/article/details/9226867

3. 将目录切换到dataDir 目录，并创建myid文件，内容分别是1、2、3。注意myid的内容要与server.x 中的x相一致。

   cd /Users/apple/Desktop/zookeeper vim myid 

4. 三台机器都配置好zookeeper.properties 并创建myid 文件后，即可进行测试。依次在三台机器上执行如下命令，即可启动Zookeeper集群。

   cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录 nohup bin/zookeeper-server-start.sh config/zookeeper.properties & 

5. 观察启动日志，确认启动无误。

三、搭建Kafka集群

搭建完Zookeeper集群后，Kafka集群的搭建就完成了一大半。下面我们来搭建Kafka集群：

1. 在Kafka的config目录下创建文件server-cluster.properties ，在其中填写如下内容：

   broker.id=1						# kafka broker的id，三个节点不能相同 listeners=PLAINTEXT://:9094		# kafka所使用的端口 log.dir=/tmp/kafka-logs			# kafka日志路径 zookeeper.connect=xxx,yyy,zzz	# Zookeeper集群的地址列表，IP:PORT的形式，多个用,分隔 

   当然，这里server-cluster.properties 名称不是强制的，你可以叫其他名字；不仅如此，也可直接修改server.properties 。

2. 依次在三台机器执行如下命令，启动Kafka

   cd kafka_2.11-0.11.0.1 # 切换到你的Kafka目录 bin/kafka-server-start.sh config/server-cluster.properties & 

3. 观察启动日志，确认启动无误。

四、验证Kafka集群正常工作

1. 创建一个Topic，其中的xxx、yyy、zzz是Zookeeper的地址，形式为IP:PORT

   bin/kafka-topics.sh --create --zookeeper xxx,yyy,zzz --replication-factor 3 --partitions 1 --topic my-replicated-topic 

2. 我们现在已经搭建了一个Kafka集群，并创建了一个Topic，但我们如何知道每个broker在做什么呢？可使用describe topics 命令：

   bin/kafka-topics.sh --describe --zookeeper xxx,yyy,zzz --topic my-replicated-topic  Topic:my-replicated-topic	PartitionCount:1	ReplicationFactor:3	Configs: 	Topic: my-replicated-topic	Partition: 0	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2 

   其中，第一行是对所有partition的摘要，每个附加行给出了每个partition的详情，这里只有一个partition，所以只有一行。

   leader是负责给定partition所有读写的节点，每个节点将称为partition随机选择部分的leader。

   replicas是复制此partition日志的节点列表，无论它们是否leader，即使它们处于活动状态。

   isr是一组in-sync 副本，这是replicas列表的子集，这些副本当前活动，并被引导到leader。

   笔者按：isr常被翻译成“副本同步队列”。

   leader、replicas、isr可参考：https://www.cnblogs.com/mengyou0304/p/4836555.html

3. 创建一个生产者：

   bin/kafka-console-producer.sh --broker-list kafka集群地址列表 --topic my-replicated-topic 

   地址为IP:PORT的形式，多个用逗号分隔

4. 另启一个窗口，创建消费者：

   bin/kafka-console-consumer.sh --bootstrap-server kafka地址 --from-beginning --topic my-replicated-topic 

   kafka地址为IP:PORT的形式，为Kafka集群中的任意一个节点。

5. 在生产者窗口输入任意文字，看在消费者窗口能否接收。如果能正常接收，说明Kafka集群搭建成功。

五、界面管理

参考笔者博客Kafka Manager管理Kafka集群：http://www.itmuch.com/work/kafka-manager/

六、参考文档

• Kafka官方文档：http://kafka.apache.org/quickstart
• Kafka 0.9集群搭建文档：http://blog.csdn.net/gongxinju/article/details/53415051