单机kafka的部署过程记录。
一.下载
本篇使用版本为
kafka_2.11-2.1.0
zookeeper-3.4.14
自行官网下载
二.配置
zookeeper配置
zk是kafka的注册中心，先配置zk
1. 修改zoo.cfg（zoo.simple.cfg）
a）修改默认接口2181为2180，避免冲突
b）修改dataDir为自定义目录，此文件夹用于存放数据文件
c）新建dataLogDir为自定义目录 数据文件日志
ps：必须填写绝对路径
2.启动zk并查看其状态
进入bin目录，执行命令启动
./zkServer.sh start
启动成功后使用
./zkServer.sh status
查看启动状态
kafka配置
1.配置server.properties
a）创建数据存放目录
b）修改日志存放目录log.dirs
c）修改zookeeper的连接地址
d）修改默认端口端口
2.配置producer.properties
3.配置zookeeper.properties
4.启动
bin/kafka-server-start.sh config/server.properties
执行启动命令，指定配置文件【这一步建议放到tmux或nohup执行】
三.测试
1.创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 8 --topic test_topic
指定zk地址，副本数，分区数，topic名称
2.查看topic
bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2180
3.启动一个控制台生产者和控制台消费者验证是否正常使用
-
控制台生产者
bin/kafka-console-producer.sh --broker-list 127.0.0.1:9090 --topic test_topic -
控制台消费者(从头开始消费)
bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9090 --topic test_topic --from-beginning
四.其他命令
1.修改分区数
./bin/kafka-topics.sh --alter --zookeeper 127.0.0.1:2180 --topic test_topic --partitions 8
2.查看分区
./bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2180 --topic test_topic
PS: 提高分区数是提高并发的有效方式
五.删除topic
1.删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录
2.Kafka 删除topic的命令是：
./bin/kafka-topics --delete --zookeeper 127.0.0.1:2180 --topic test_topic
如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion
此时你若想真正删除它，可以如下操作：
（1）登录zookeeper客户端：命令：./bin/zookeeper-client
（2）找到topic所在的目录：ls /brokers/topics
（3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。
另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/【topic name】，如果你删除了此处的topic，那么marked for deletion 标记消失