设为首页 加入收藏

TOP

Kafka安装和常用操作命令
2019-01-16 14:09:10 】 浏览:50
Tags:Kafka 安装 常用 操作 命令

Kafka作为分布式流式数据处理中间件,为了掌握Kafka,学会常用的Kafka命令是学好Kafka的基础。Kafka使用zookeeper作为注册中心,因此在使用Kafka之前,首先要准备好zookeeper,因为只是对常用命令介绍,本文档只是使用Kafka单机和zookeeper单机配置,操作系统使用的Mac OS,zookeeper使用的版本为zookeeper-3.4.12,Kafka使用的版本为2.0.11;

一、安装配置启动zookeeper
首先从官网(http://zookeeper.apache.org)下载zookeeper压缩包,然后解压;然后对zookeeper进行简单配置:
启动Mac终端Shell,并进入到解压zookeeper的conf目录下,新建zoo.cfg文件,然后进行配置,对应的Linux命令如下:

cd  /Users/lichao/Documents/zookeeper-3.4.12/conf #进入到zookeeper配置文件目录下
vim zoo.cfg #新建并打开配置文件

新建zookeeper配置文件
然后在zoo.cfg配置如下几项:
zookeeper基本配置
基本配置完成之后,进入到zookeeper-3.4.12下面的bin目录下,使用zkServer.sh启动脚本启动zookeeper;当出现STARTED是则表示启动成功,具体如下图:
zookeeper启动
到目前为止,zookeeper已经启动完成;接下来就是启动Kafka。

二、安装配置启动Kafka
kafka安装的版本为kafka_2.11-2.0.0,(该版本已经内置zookeeper,也可以直接进入到Kafka的bin目录下使用下面命令启动zookeeper:
./zookeeper-server-start.sh /Users/lichao/Documents/kafka_2.11-2.0.0/config/zookeeper.properties &),所有的配置文件存放kafka根目录下面的config文件夹下,根据对应的文件根据名称可以知道相应的配置。
Kafka自身相关的基本配置文件:
/Users/lichao/Documents/kafka_2.11-2.0.0/config/server.properties
由于本文重点不在于配置内容,因此不做展开,具体各配置项的含义可参考官方配置说明文档。此次使用默认配置即可;因此不需修改,直接进入到bin目录下启动Kafka,具体的操作命令如下:

./kafka-server-start.sh /Users/lichao/Documents/kafka_2.11-2.0.0/config/server.properties & #启动Kafka

可以看到控制台打印出相关的Kafka配置信息;则Kafka启动成功;

三、常用命令

Kafka跟据不同的角色使用不同的sh脚本命令,所有的脚本命令脚本都在bin文件夹下面,接下来本文将介绍一些常用的Kafka命令:

  1. 创建主题命令:
# 创建一个名称为test主题(topic)
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic test --partitions 1 --replication-factor 1 

命令解析:
./kafka-topics.sh:使用Kafka的主题(topic)命令脚本;
–zookeeper 127.0.0.1:2181:Kafka注册的zookeeperIP地址和端口;
–create --topic test:创建名称为test的主题(topic);
–partitions 1:创建一个分区;
–replication-factor 1 :对该主题做一份备份;

  1. 查看所有主题
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

查看所有主题
可以看到当前Kafka有两个主题,一个test,一个test1;我们还可以查看每一个主题的详细信息,即接下来介绍的常用命令3。

  1. 查看主题详情
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic detailTopic

查看主题详情

如上图所示,使用该命令,我们可以看到主题detailTopic的详细信息,这些信息包括了:
Topic:detailTopic --主题名称;
PartitionCount:1 --该主题的分区总数;
ReplicationFactor:–复制(备份)因子1;
Config:该配置信息;

  1. 删除主题
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete --topic detailTopic

命令解析:删除主题detailTopic;

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Kafka's Metadata In ZooKeep.. 下一篇Kafka史上最详细原理总结   ..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目