kafka集群和zk集群搭建

前言

一台应用的第三方服务器的kafka只有3个分区,测试一直存在积压的消息,搭建了一套最简单集群测试下,记录中间的参数。

1、准备工作

1.1 环境准备

环境 版本 说明
centos 7.0 操作系统服务器,3台
JDK 1.8.261 安装好jdk并设置好环境变量
zookeeper 3.4.9 zk官方安装包
kafka 2.2.0_2.12 kafka官方安装包

1.2 服务器

IP 端口 说明
192.168.211.125 zk:2181
zk heartbeat:2888、3888
kafka:9092
zk默认端口
zk心跳默认端口
kafka默认监听端口
192.168.211.126 zk:2181
zk heartbeat:2888、3888
kafka:9092
zk默认端口
zk心跳默认端口
kafka默认监听端口
192.168.211.127 zk:2181
zk heartbeat:2888、3888
kafka:9092
zk默认端口
zk心跳默认端口
kafka默认监听端口

1.3 目录规划

中间件 安装目录 数据目录 日志目录 说明
jdk /home/jdk_version - - Oracle jdk是直接tgz解压的,只需要安装目录
openjdk不需要这个目录规划
zk /home/zookeeper_version /opt/data/zookeeper /opt/data/zookeeper/zkdata
/opt/data/zookeeper/zklogs
zkdata是zk的数据目录,zklogs是日志目录
kafka /home/kafaka_version /opt/data/kafka /opt/data/kafka/kafka_logs kafka_logs是日志目录

2、下载zk

官网:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/
下载地址:https://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

……

阅读全文

deepfacelab使用介绍

前言

应朋友要求,研究下deepfacelab的环境搭建和使用步骤,记录下中间的问题和过程。

1、deepfacelab核心库

1
git clone --depth=1 https://github.com/iperov/DeepFaceLab

2、成熟的deepfacelab安装项目包

win10环境,软件磁力连接(迅雷复制下载):

1
magnet:?xt=urn:btih:3384316e126920d7e1cbd2acb16b9513a57b2645&dn=DeepFaceLab&tr=udp%3a%2f%2ftracker.coppersurfer.tk%3a6969%2fannounce

3、安装前的准备

1、如果用的步骤3中的成熟项目包只需要依赖python3
2、如果用的步骤2中的核心库自行搭建的话,需要安装如下清单

……

阅读全文

android下的termux模拟器安装openJDK和运行springboot项目

前言

2020年9月份打造好了termux,但是苦于jdk没法安装,只能简单的用ecj(eclipse的java,类似jdk的javac),但是springboot或者tomcat的项目怎么跑啊? 今天为了做培训演示,找到了termux下的openJDK资源,记录下安装的经过。termux的安装和工具准备参考前一篇android下安装termux模拟器-超便携linux

……

阅读全文

挖矿病毒2-分析和排查思路

前言

1月23日晚上22点附近,公司群收到管理员说阿里云报了挖矿病毒的警告
因此本人手里处理过2次挖矿病毒,针对挖矿病毒的杀毒和溯源,个人整理下心得,也有一部分思路来源网络整理

1、分析

1.1 top查看异常进程和占用率

发现一个叫sh的进程名几乎占用全部的cpu资源

1.2 根据pid查找挖矿病毒的目录

当然用其他方法也可以找出,这里是当挖矿病毒正在运行时这么查找更加容易 找到挖矿病毒的主体文件所在目录了/tmp/admin/sh

……

阅读全文

云服务器盘符跳变:fstab用UUID挂载避免启动失败

前言

2020-03-28 碰到一个云服务器的问题:/dev/sdd 盘符跳变成了 /dev/sde,因为 fstab 里还写着旧设备名还带启动检查,直接导致服务器重启失败。记录下处理过程和以后的挂载规范。

1、事故经过

出问题的 fstab 长这样:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
# /etc/fstab
UUID=adc76f7c-fef6-4075-941e-e7ce50fb3e50  /         ext4  defaults  1 1
tmpfs    /dev/shm    tmpfs    defaults        0 0
devpts   /dev/pts    devpts   gid=5,mode=620  0 0
sysfs    /sys        sysfs    defaults        0 0
proc     /proc       proc     defaults        0 0

/dev/mapper/VolGroup-lv_mysql  /data      ext4  defaults  1 1
#/dev/sdd                      /dbbackup  ext4  defaults  1 1
UUID=ee7bdf7f-c4b6-4ac0-bbbf-3d7c21d6283b  /dbbackup  ext4  0 0

问题出在 /dev/sdd:原来这块盘有 1T,fstab 里按设备名挂载到 /dbbackup,而且最后两个参数是 1 1(开机 fsck 检查)。后来扩容新加了一块 500G 的盘,云平台重新分配设备名时,新盘占了 sdd 的位置,原 sdd 顺移成了 sde——fstab 里写的 /dev/sdd 现在指向的是新盘,挂载失败、fsck 检查也失败,重启直接卡死进不了系统。

……

阅读全文

golang奇怪的知识点

前言

golang里面的奇怪知识点总结,本人才疏学浅,可能总结得不到位或者有些纰漏,仅把学习golang知识的一些细节记录下,权当学习笔记
最后的其他分类里面有很多几年前学习golang时候的一些基础规则,也放进来吧,当回顾下好了

1、包名带!

无意间发现包名有个别带!,不知道为啥,找了一下午资料也没找到合适的解答
如下图:

……

阅读全文

mysql主从复制:搭建、状态检查与断点恢复

前言

主从复制是 mysql 高可用的基础:读写分离、故障切换、异地备份都建立在它之上。这篇整理主从搭建的完整步骤、状态检查要点,以及复制中断后的几种恢复手段——生产环境主从挂掉大多是「中断后不知道怎么安全地恢复」,这部分才是重点。

一、主库(Master)配置

1. 修改 my.cnf 开启 binlog

1
2
3
[mysqld]
log-bin    = mysql-bin
server-id  = 1

2. 重启后创建复制账号

……

阅读全文

Win10下打包go工具增加icon

前言

go build默认产生的可执行文件没有图标icon,有时候挺丑的,想增加icon怎么办呢

1、方法1 - windres命令

怎么安装和使用minGW参考前一篇文章Win10下新的gcc工具

1.1、创建rc文件

以test.go举例, 假设打包文件名test.exe, ico文件名test.ico
rc文件命名test.exe.rc

文件中输入

1
IDI_ICON1 ICON "test.ico"

1.2、执行windres命令创建syso文件

1
windres -o test.exe.syso test.exe.rc

1.3、执行go build

1
go build

2、方法2 - rsrc命令

需要先下载rsrc命令

……

阅读全文

mysql日常检查命令与优化散记

前言

攒的一些 mysql 日常巡检命令和优化散记,合在一起记录。巡检部分用 show status/variables 就能完成,优化部分是建表和索引设计层面的经验,标注了适用版本。

1、日常巡检命令

1.1 最后一条语句的报错信息

1
2
3
4
5
-- 显示最后一个执行语句产生的错误、警告和通知
show warnings;

-- 只显示错误
show errors;

调试 SQL 时比看客户端提示更全,写存储过程排查尤其有用。

……

阅读全文

shell小技巧:URL转码表与set -euo pipefail

前言

日常写 shell 脚本时积攒的小技巧,单拎出来都不长,合在一起记录。这篇是第一批:URL 转码表和 set 选项,后续有新的继续补充。

一、常用符号的 URL 转码表

写爬虫或拼 URL 时经常碰到符号需要转码,对照表如下:

符号 url 转码
+ %2B
space(空格) %20
/ %2F
? %3F
% %25
# %23
& %26
= %3D

命令行里快速转码/解码:

1
2
3
4
5
6
# 转码
echo -n "a=b&c=1" | xxd -plain | tr -d '\n' | sed 's/\(..\)/%\1/g'
# a%3db%26c%3d1

# 解码
printf '%b' '${a%3db%26c%3d1//%/\\x}'

二、set -e、set -u 与 pipefail

写脚本时经常看到开头一句 set -eu 或 set -euo pipefail,各自的作用:

……

阅读全文

最近文章

分类

标签

其它