被同事误删表找回丢失的数据

2019年3月26日

| mysql

有些不靠谱的同事真的很误事，运维了几年的系统从来没出过误删表数据的事件，3月14日下午突然被同事误删了订单表全量数据，查询表返回0 rows，突然大脑一片空白，心想完了完了，最重要的表数据全部被清理了，虽然有每日凌晨5点的全量备份，但是截止下午的数据怎么找回？从来没碰到过误删事件，也从来没处理过数据恢复……

一、先挽救每日备份的数据

找到每日全量备份的数据，把订单表还原到测试库，然后单独把订单表重新备份，针对误删的表进行全量恢复采用的工具是mydumper，非mysql官方的mydump 心想：好在有每日凌晨5点的全量备份，虽然在自己手里，从开发了每日全量备份脚本并配置定时任务每天执行，从来没派上用场，也希望不会派上用场，但是良好的备份意识还是挽救了90%的数据。半小时左右，90%的数据恢复，然后把问题上报。

……

阅读全文

JDK1.8.0.161版本bug定位

2019年3月8日

| bug java

前言

好好运行的系统，突然故障，无意间根据错误信息查找，竟然是jdk的bug，描述下曲折的定位过程。

1、错误日志

有个老系统有使用到soap接口，采用CXF结合接口文件wsdl自动生成的接口开发的，突然在3月2日（后续日志定位才发现真正故障的时间）无法正常工作，但是实际发现时间已经到了3月6日了，直接查看日志文件，报错“组装saop报文头异常:Entity References are not allowed in SOAP documents”

……

阅读全文

linux小技巧：文件句柄排查与乱码文件名删除

2019年2月18日

| linux

前言

攒了几个 linux 小技巧，单独发太碎，合在一起记录：文件句柄占用排查（句柄打满的锅十有八九是它）、TIME_WAIT 过多的内核参数、还有删除乱码文件名文件。

1、文件句柄排查

服务报 Too many open files 的时候，先找到是谁把句柄吃光的：

1
2
3
4
5


# 按进程统计打开的文件句柄数量，倒序
lsof -n | awk '{print $2}' | sort | uniq -c | sort -nr | more

# 拿到进程号后再确认是什么进程
ps -aef | grep 进程号

调大句柄上限，root 登录：

……

阅读全文

广告计费术语扫盲：CPA/CPS/CPM/CPT/CPC

2018年12月26日

| 互联网

前言

做后台系统或数据报表时经常碰到广告投放侧的术语：CPA、CPS、CPM、CPT、CPC。五个缩写长得像，区别全在「按什么付费」。这篇一次讲清——按付费锚点从「展示」到「成交」排列，正好是一条转化漏斗。

一、五种计费模式

CPM（Cost Per Mille，每千人成本）：按展示付费，只要展示了广告主的广告内容，每满一千次曝光就计一次费。品牌广告主用得最多——他们买的是「让更多人看到」。

……

阅读全文

容灾概念介绍

2018年12月4日

| 容灾

前言

容灾的一些名词、概念介绍

1、介绍

容灾恢复能力的关键指标

RPO（Recovery Point Obejective，恢复点目标）

是指业务系统所允许的在灾难过程中的最大数据丢失量，用来衡量容灾系统的数据冗余备份能力。

RTO（Recovery Time Objective，恢复时间目标）

是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力。我国的国家标准《GB20988-2007-T 信息安全技术信息系统灾难恢复规范》对灾备数据中心根据RPO与RTO两项指标分成了6个相应的等级，如下所示：

……

阅读全文

手机端调测H5页面神器-vConsole

2018年11月8日

| h5

前言

手机端调测H5页面是比较麻烦的，需要借助腾讯的vConsole神器
下载地址： https://github.com/Tencent/vConsole.git

1、导入引用

1
2
3
4
5
6


<script src="https://unpkg.com/vconsole@latest/dist/vconsole.min.js"></script>
<script>
  // 初始化
  var vConsole = new VConsole();
  console.log('VConsole is cool');
</script>

如下图：

2、属性

vConsole.version

当前 vConsole 的版本号。

只读
类型：string

例子：

1

vConsole.version // => "3.11.0"

vConsole.option

配置项。

可写
类型：object

键名	类型	可选	默认值	描述
defaultPlugins	Array	true	[‘system’, ’network’, ’element’, ‘storage’]	需要自动初始化并加载的内置插件。
onReady	Function	true		回调方法，当 vConsole 完成初始化并加载完内置插件后触发。
onClearLog	Function	true		回调方法，点击 Log 或 System 面板的 “Clear” 按钮后出发。
maxLogNumber	Number	true	1000	超出数量上限的日志会被自动清除。
maxNetworkNumber	Number	true	1000	超出数量上限的请求记录会被自动清除。
disableLogScrolling	Boolean	true		若为 `false`，有新日志时面板将不会自动滚动到底部。
theme	String	true	’light’	主题颜色，可选值为 ’light'
target	String, HTMLElement	true	`document.documentElement`	挂载到的节点，可为 HTMLElement 或 CSS selector。

例子：

……

阅读全文

mongodb安装后的初始化操作

2018年10月14日

| mongodb

前言

mongodb安装成功后的初始化操作，安装步骤比较简单略过不讲

1、启动

1

./mongobd -f /etc/mongodb.conf

2、进入命令行

1

./mongo

3、创建超级管理账号

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


use admin

db.createUser({user:"adminuser",pwd:"12345678",roles:["userAdminAnyDatabase"]})

## 4、用超级管理账号创建业务账号
db.auth('adminuser', '12345678')

use testdb

db.createUser({user:"testuser",pwd:"12345678",roles: [{role:"readWrite", db:"testdb"}]})

5、conf文件demo，yaml格式，注意空格

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


systemLog:
    destination: file
    logAppend: true
    path: /usr/local/mongodb/logs/mongodb.log

storage:
    dbPath: /usr/local/mongodb/data/db
    journal:
        enabled: true

processManagement:
    fork:        
    pidFilePath: /var/run/mongodb/mongod.pid
    timeZoneInfo: /usr/share/zoneinfo

net:
    port: 27017
    bindIp: 0.0.0.0

security:
    authorization: enabled

6、参数解读：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


systemLog:
  destination: file//指定是一个文件
  path: /data/logs/mongod.log//日志存放位置
  logAppend: true//产生日志内容追加到文件
#  quiet: true//在quite模式下会限制输出信息
#  timeStampFormat: iso8601-utc //默认是iso8601-local，日志信息中还有其他时间戳格式：ctime,iso8601-utc,iso8601-local

processManagement:
  fork: true//以守护进程的方式运行MongoDB，创建服务器进程
  pidFilePath: "/data/mongo-data/mongod.pid"//pid文件路径
net:
# bindIp: 192.168.33.131//绑定ip地址访问mongodb，多个ip逗号分隔
  port: 27017//端口
  maxIncomingConnections：10000//默认65535，mongodb实例接受的最多连接数，如果高于操作系统接受的最大线程数，设置无效。
#  http:
#    enabled: true//http端口最好关闭
#RESTInterfaceEnabled: false//即使http接口选项关闭，如果这个选项打开后会有更多的不安全因素

storage:
  dbPath: "/data/mongo-data"//数据文件存放路径
  engine: wiredTiger//数据引擎
  wiredTiger:
    engineConfig://wt引擎配置
      cacheSizeGB: 1//看服务器情况来进行设置
      directoryForIndexes: true//索引是否按数据库名进行单独存储
    collectionConfig:
      blockCompressor: zlib//压缩配置
    indexConfig:
      prefixCompression: true//索引配置
  journal:
    enabled: true//记录操作日志，防止数据丢失。
  directoryPerDB: true//指定存储每个数据库文件到单独的数据目录。如果在一个已存在的系统使用该选项，需要事先把存在的数据文件移动到目录。
operationProfiling:
  slowOpThresholdMs: 100 //指定慢查询时间，单位毫秒，如果打开功能，则向system.profile集合写入数据
  mode: "slowOp"//off、slowOp、all，分别对应关闭，仅打开慢查询，记录所有操作。
security:
  keyFile: "/data/mongodb-keyfile"//指定分片集或副本集成员之间身份验证的key文件存储位置
  clusterAuthMode: "keyFile"//集群认证模式，默认是keyFile
  authorization: "disabled"//访问数据库和进行操作的用户角色认证

7、常见操作

命令	含义
show dbs	显示数据库列表
show collections	显示当前数据库中的集合（类似关系数据库中的表）
show users	显示用户
use dbname	切换当前数据库，这和MS-SQL里面的意思一样
db.help()	显示数据库操作命令，里面有很多的命令

8、聚集集合操作

8.1、查询所有记录

1
2


db.userInfo.find();
相当于：select* from userInfo;

8.2、查询去掉后的当前聚集集合中的某列的重复数据

1
2
3


db.userInfo.distinct("name");
会过滤掉name中的相同数据
相当于：select distinct name from userInfo;

8.3、查询age = 22的记录

1
2


db.userInfo.find({"age": 22});
相当于： select * from userInfo where age = 22;

8.4、查询age > 22的记录

1
2


db.userInfo.find({age: {$gt: 22}});
相当于：select * from userInfo where age >22;

8.5、查询age < 22的记录

1
2


db.userInfo.find({age: {$lt: 22}});
相当于：select * from userInfo where age <22;

8.6、查询age >= 25的记录

1
2


db.userInfo.find({age: {$gte: 25}});
相当于：select * from userInfo where age >= 25;

8.7、查询age <= 25的记录

1

db.userInfo.find({age: {$lte: 25}});

8.8、查询age >= 23 并且 age <= 26

1

db.userInfo.find({age: {$gte: 23, $lte: 26}});

8.9、查询name中包含 mongo的数据

1
2
3


db.userInfo.find({name: /mongo/});
//相当于%%
select * from userInfo where name like ‘%mongo%';

8.10、查询name中以mongo开头的

1
2


db.userInfo.find({name: /^mongo/});
select * from userInfo where name like ‘mongo%';

8.11、查询指定列name、age数据

1
2


db.userInfo.find({}, {name: 1, age: 1});
相当于：select name, age from userInfo;

当然name也可以用true或false,当用true的情况下河name:1效果一样，如果用false就是排除name，显示name以外的列信息。

……

阅读全文

mydumper第三方备份还原工具

2018年9月16日

| mysql backup

前言

Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。性能比自带的mysqldump强劲
github: https://github.com/mydumper/mydumper

1、安装

redhat、centos举例

1.1 安装依赖

1.1.1 安装编译库

1

yum install -y cmake gcc gcc-c++ git make

1.1.2 安装开发库

1

yum install -y glib2-devel mysql-devel openssl-devel pcre-devel zlib-devel libzstd-devel

1.1.3 安装mysql开发版库

1
2
3


yum install -y mysql-devel
yum install -y Percona-Server-devel-57
yum install -y mariadb-devel

1.2 mydumper安装

1
2
3
4
5
6


wget https://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
tar zxvf mydumper-0.9.1.tar.gz
cd mydumper-0.9.1
cmake .
make
make install

2、常用备份、还原命令

2.1 备份

1

mydumper -u root -p XXX -h localhost -B XXX -o /data/backup/20180916

2.2 恢复

1

myloader -u root -p XXX -h localhost -B XXX -d /data/backup/20180916

3、参数说明

3.1 mydumper 的常用参数

参数	说明
-B	–database 要导出的dbname
-T	–tables-list 需要导出的表名,导出多个表需要逗号分隔，t1[,t2,t3 ….]
-o	–outputdir 导出数据文件存放的目录，mydumper会自动创建
-s	–statement-size 生成插入语句的字节数, 默认1000000字节
-r	–rows Try to split tables into chunks of this many rows. This option turns off –chunk-filesize
-F	–chunk-filesize 切割表文件的大小，默认单位是 MB ，如果表大于
-c	–compress 压缩导出的文件
-e	–build-empty-files 即使是空表也为表创建文件
-x	–regex 使用正则表达式匹配 db.table
-i	–ignore-engines 忽略的存储引擎，多个值使用逗号分隔
-m	–no-schemas 只导出数据，不导出建库建表语句
-d	–no-data 仅仅导出建表结构，创建db的语句
-G	–triggers 导出触发器
-E	–events 导出events
-R	–routines 导出存储过程和函数
-k	–no-locks 不执行临时的只读锁，会导致备份不一致。 WARNING: This will cause inconsistent backups –less-locking 最小化在innodb表上的锁表时间 –butai
-l	–long-query-guard 设置长时间执行的sql 的时间标准
-K	–kill-long-queries 将长时间执行的sql kill
-D	–daemon 以守护进程的方式执行
-I	–snapshot-interval 创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用。
-L	–logfile指定mydumper输出的日志文件，默认使用控制台输出。 –tz-utc SET TIME_ZONE=’+00:00’ at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use –skip-tz-utc to disable. –skip-tz-utc –use-savepoints 使用savepoints 减少MDL 锁事件需要 SUPER 权限 –success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn

3.2 myloader使用参数

参数	说明
-d	–directory 备份文件的文件夹
-q	–queries-per-transaction 每次事物执行的查询数量，默认是1000
-o	–overwrite-tables 如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
-B	–database 需要还原的数据库
-e	–enable-binlog 启用还原数据的二进制日志
-h	–host The host to connect to
-u	–user Username with privileges to run the dump
-p	–password User password
-P	–port TCP/IP port to connect to
-S	–socket UNIX domain socket file to use for connection
-t	–threads 还原所使用的线程数，默认是4
-C	–compress-protocol 压缩协议
-V	–version 显示版本
-v	–verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

4、metadata文件

metadata文件存储了binlog位置点和备份开始结束的时间

……

阅读全文

mysql低版本源代码安装

2018年8月14日

| mysql linux

前言

如果不使用最新版本的mysql，但是低版本的mysql官方不提供编译好的安装包，只能自己编译安装了。以下步骤和参数针对5.6、5.7生效，新版本有变动请阅读官方文档介绍。

版本停更提示：5.6 已于 2021-02、5.7 已于 2023-10 结束官方支持（EOL），两者均不再有安全补丁，新项目请直接上 8.0/8.4 LTS。老库升级前注意 8.0 的行为差异：
……

阅读全文

java OOM的种类整理

2018年5月8日

| java oom

前言

java OOM的种类整理

1、分类

1.1【情况一】

1

java.lang.OutOfMemoryError: Java heap space:

这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环
如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决：

-Xms3062m
-Xmx3062m

1.2【情况二】

1

java.lang.OutOfMemoryError: GC overhead limit exceeded

【解释】

JDK6新增错误类型，当GC为释放很小空间占用大量时间时抛出；一般是因为堆太小，导致异常的原因，没有足够的内存。

……

阅读全文

一、先挽救每日备份的数据

前言

1、错误日志

前言

1、文件句柄排查

前言

一、五种计费模式

前言

1、介绍

RPO（Recovery Point Obejective，恢复点目标）

RTO（Recovery Time Objective，恢复时间目标）

前言

1、导入引用

2、属性

vConsole.version

vConsole.option

前言

1、启动

2、进入命令行

3、创建超级管理账号

5、conf文件demo，yaml格式，注意空格

6、参数解读：

7、常见操作

8、聚集集合操作

8.1、查询所有记录

8.2、查询去掉后的当前聚集集合中的某列的重复数据

8.3、查询age = 22的记录

8.4、查询age > 22的记录

8.5、查询age < 22的记录

8.6、查询age >= 25的记录

8.7、查询age <= 25的记录

8.8、查询age >= 23 并且 age <= 26

8.9、查询name中包含 mongo的数据

8.10、查询name中以mongo开头的

8.11、查询指定列name、age数据

前言

1、安装

1.1 安装依赖

1.1.1 安装编译库

1.1.2 安装开发库

1.1.3 安装mysql开发版库

1.2 mydumper安装

2、常用备份、还原命令

2.1 备份

2.2 恢复

3、参数说明

3.1 mydumper 的常用参数

3.2 myloader使用参数

4、metadata文件

前言

前言

1、分类

1.1【情况一】

1.2【情况二】

【解释】

最近文章

其它