kafka集群和zk集群搭建
前言
一台应用的第三方服务器的kafka只有3个分区,测试一直存在积压的消息,搭建了一套最简单集群测试下,记录中间的参数。
1、准备工作
1.1 环境准备
| 环境 | 版本 | 说明 |
|---|---|---|
| centos | 7.0 | 操作系统服务器,3台 |
| JDK | 1.8.261 | 安装好jdk并设置好环境变量 |
| zookeeper | 3.4.9 | zk官方安装包 |
| kafka | 2.2.0_2.12 | kafka官方安装包 |
1.2 服务器
| IP | 端口 | 说明 |
|---|---|---|
| 192.168.211.125 | zk:2181 zk heartbeat:2888、3888 kafka:9092 |
zk默认端口 zk心跳默认端口 kafka默认监听端口 |
| 192.168.211.126 | zk:2181 zk heartbeat:2888、3888 kafka:9092 |
zk默认端口 zk心跳默认端口 kafka默认监听端口 |
| 192.168.211.127 | zk:2181 zk heartbeat:2888、3888 kafka:9092 |
zk默认端口 zk心跳默认端口 kafka默认监听端口 |
1.3 目录规划
| 中间件 | 安装目录 | 数据目录 | 日志目录 | 说明 |
|---|---|---|---|---|
| jdk | /home/jdk_version | - | - | Oracle jdk是直接tgz解压的,只需要安装目录 openjdk不需要这个目录规划 |
| zk | /home/zookeeper_version | /opt/data/zookeeper | /opt/data/zookeeper/zkdata /opt/data/zookeeper/zklogs |
zkdata是zk的数据目录,zklogs是日志目录 |
| kafka | /home/kafaka_version | /opt/data/kafka | /opt/data/kafka/kafka_logs | kafka_logs是日志目录 |
2、下载zk
官网:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/
下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz