Anttu's Blog

一位Java开发者，喜欢研究技术，同时也在学习Golang和Python中，对服务器、Linux使用比较熟悉。欢迎添加技术交流QQ群：655158296

30W数据批量导入redis集群

2020年1月7日

| redis

前言

碰到工作中有数据要一次性快速刷入redis的场景
查了下资料，找到了快速高效的写入方法了

比如：

1
2


hset key filed value
set key value

之前我是采用golang读取数据源并转化程redis命令

1

cat d1.txt | redis-cli -a runoob

如果不想看到执行过程，可以用如下

1

cat d1.txt | redis-cli -a runoob --pipe

如果是远程执行，也可以

1

cat d1.txt | redis-cli -a runoob -p 6380 -h 192.168.1.100 --pipe

经过对比测试，程序写入redis还赶不上上面的批量导入命令
难点是d1.txt文件的生成，需要把数据组装成如下的redis命令
举例d1.txt样例

……

2017年6月6日

| redis

整理下在linux中操作redis中的一些命令

redis中名称含有OMP_OFFLINE的key的个数；

1

src/redis-cli keys "*OMP_OFFLINE*" | wc -l

批量删除 0号数据库中名称含有OMP_OFFLINE的key：

1

src/redis-cli -n 0 keys "*OMP_OFFLINE*" | xargs src/redis-cli -n 0 del

在redis的客户端环境中并不支持批量删除。

可以把某个keys的结果全部输出到文件中，比如keys.log

……