Kafka简介
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
官网：http://kafka.apache.org/
下载：http://kafka.apache.org/downloads
安装Kafka
（1）安装Kafka
# mkdir /data/server
# tar -zxf kafka_2.12-2.2.0.tgz -C /data/server/
# mv /data/server/kafka_2.12-2.2.0 /data/server/kafka
# cd /data/server（2）启动zk：kafka依赖zookeeper，需要先启动zookeeper。安装包自带zookeeper，可以直接启动，如果已经单独安装zookeeper的话，就不需要重启启动，如果需要再启动一个zookeeper，修改下zookeeper的配置文件，修改端口，不要造成端口冲突，zk的默认端口是2181。 启动命令：
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties（3）启动kafka：需要先修改kafka配置文件：修改 kafka-server 的配置文件config/server.properties，修改其中的broker.id和log位置。然后启动kafak服务，kafka默认端口9092。
配置broker.id必须是一个整数，且不可以和其他的kafak代理节点的值重复，即每个kafka节点为一个broker，拥有唯一的id值。
broker.id=1
listeners=PLAINTEXT://192.168.1.10:9092 #192.168.165.239为本机IP
log.dir=/data/logs/kafka.logs
zookeeper.connect=192.168.1.11:2181启动命令：
bin/kafka-server-start.sh config/server.properties后台启动：
bin/kafka-server-start.sh -daemon config/server.properties单机多BROKER 集群配置：新生成几个配置文件
config/server1.properties、config/server2.properties。然后，修改里面的配置文件broker.id、log.dir、 listeners分别指定不同的broker、日志文件位置、监听端口。然后分别使用这些配置文件启动即可。
测试Kafka
创建 TOPIC，使用kafka-topics.sh创建单分区单副本的topic test：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test查看 topic 列表：
bin/kafka-topics.sh --list --zookeeper localhost:2181启动生产者，使用kafka-console-producer.sh发送消息：
bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test启动消费者，使用kafka-console-consumer.sh接收消息并在终端打印：
bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.10:9092 --topic test --from-beginning
