小知识:linux contos6.8下部署kafka集群的方法

有3台服务器,ip分别为192.168.174.10,192.168.174.11,192.168.174.12。

1、官网下载,分别在每台机器上解压安装

?
1
2
3
4
# 创建kafka的安装目录
mkdir -p /usr/local/software/kafka
# 解压
tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/

2、修改每台服务器的/etc/profile文件,设置kafka环境变量,添加如下内容

?
1
2
export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
export PATH=$PATH:$KAFKA_HOME/bin

添加完后重启配置,命令如下:

?
1
source /etc/profile

3、修改每台服务器的$KAFKA_HOME/config下的server.properties文件,修改代理id和日志存放目录

?
1
2
3
4
5
6
7
8
#指定代理id,borker.id可以任意指定,前提是保证集群内每台机器的broker.id唯一,第二台机器设置为2…以此类推
broker.id=1
#设置日志目录
log.dirs=/opt/data/kafka/kafka-logs
#设置zookeeper集群地址
zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
#设置本机地址,设置为本服务器的ip地址。如果不设置会在创建主题和发送消息时,发生NOT LEADER FOR PARTITION异常。
host.name=192.168.174.10

4、配置完成后,分别启动3台服务器的kafka,启动kafka前确保zookeeper集群已经成功启动。

?
1
kafka-server-start.sh -daemon server.properties

5、验证是否成功启动

jps

如果看到kafka进程,说明启动成功。

另外也可通过zookeeper客户端查看zookeeper目录结构,如下:

?
1
2
3
4
5
6
#登录zookeeper
zkCli . sh -server 192.168.174.7:2181
#查看目录结构
ls /
#查看已启动的kafka代理
ls /brokers/ids

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:http://blog.51cto.com/13604100/2134832

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:Linux 下解压 rar 文件的方法

2023-3-24 7:27:02

建站知识

小知识:Linux系统中swap分区的设置与增加/删除

2023-3-24 7:43:29

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索