Hack笔记

最近生产环境的redis服务器由于key过期不及时，现在发现时key的个数已经暴增到5000多万了。然后运维同学那边就报警了，最大内存12G，已经用了9G多了，正好下面快要双11了，让我们快些解决。

redis服务器里面堆积大量的队列状态相关的key，其实这些key可以设置有效期，或者任务完成以后删除或者过期，但是由于我们使用类库的问题，这些key既没有删除也没有过期，堆积到redis里面去了，现在我们要做的就是删除这些无用key。在删除这些keys的过程中，走了不少弯路，这里说一下我最终采用的方案。

redis的del函数可以删除单个key，也可以删除多个key，del函数官方文档可以看这里。在google之后看到目前网络上很多文章的思路是使用keys匹配返回要删除的key，然后调用del函数去删除。这种方案在数据量较小时无可厚非，但如果像我这样面临的处理的数据有5千W时，keys的阻塞问题可能会给线上生产环境带来致命的问题。所以我们需要对这种方案作出一些修改。

可喜的是自从2.8.0以后redis提供scan来遍历key，而且这个过程是非阻塞，不会影响线上生产环境。最终经过修改的方案是用scan遍历要删除的key，然后调用del删除。

下面是我用python写的用来删除key的脚本。

import sys,redis

r = redis.Redis(host="127.0.0.1", port=6379,db=0)

if  len(sys.argv) <= 1:
    print("必须指明匹配key字符串")
    exit(1)
pattern = sys.argv[1]

cursor = 0
num = 1
while 1 :
    resut = r.scan(cursor, pattern, 10000)
    del_keys = []
    for i in resut[1]:
        key = i.decode()
        del_keys.append(key)
    #print("del keys len :%d" % len(result))
    if len(del_keys) == 0:
        break
    r.delete(*del_keys)
    cursor = resut[0]
    print("delete keys num : %dw" % (num))
    num +=1

print("done\n")

如何利用我这个脚本删除符合某个规则的key哪，如以king开头的key？

下面的命令即可完成上面的问题。

python3 main.py "king*"

期间我看到网上利用keys+del的lua脚本的方案，花了一段时间把scan+del改成lua脚本来删除。但是可惜的是目前redis并不支持这么做，由于scan返回的结果是不确定的，所以禁止在其后直接调用del操作。

参考资料：《How to atomically delete keys matching a pattern using Redis》

centos7防火墙管理工具由我们以前熟知的iptables转变为了firewall。那么firewall是什么哪？firewall的服务是firewalld (防火墙守护)服务，引入了一个信任级别的概念来管理与之相关联的连接与接口。它支持 ipv4 与 ipv6，并支持网桥，采用 firewall-cmd (command) 或 firewall-config (gui) 来动态的管理 kernel netfilter 的临时或永久的接口规则，并实时生效而无需重启服务。

区域(zone)

Firewall 能将不同的网络连接归类到不同的信任级别.

区域	默认规则策略
trusted	允许所有的数据包。
home	拒绝流入的数据包，除非与输出流量数据包相关或是ssh,mdns,ipp-client,samba-client与dhcpv6-client服务则允许。
internal	等同于home区域
work	拒绝流入的数据包，除非与输出流量数据包相关或是ssh,ipp-client与dhcpv6-client服务则允许。
public	拒绝流入的数据包，除非与输出流量数据包相关或是ssh,dhcpv6-client服务则允许。
external	拒绝流入的数据包，除非与输出流量数据包相关或是ssh服务则允许。
dmz	拒绝流入的数据包，除非与输出流量数据包相关或是ssh服务则允许。
block	拒绝流入的数据包，除非与输出流量数据包相关。
drop	拒绝流入的数据包，除非与输出流量数据包相关。

过滤规则

source	根据源地址过滤
interface	根据网卡过滤
service	根据服务名过滤
port	根据端口过滤
icmp-block	icmp 报文过滤，按照 icmp 类型配置
masquerade	ip 地址伪装
forward-port	端口转发
rule	自定义规则

管理firewalld服务

# systemctl start firewalld         # 启动,
# systemctl enable firewalld        # 开机启动
# systemctl stop firewalld          # 关闭
# systemctl disable firewalld       # 取消开机启动

接下来我们会重点来看一下firewall-cmd命令，它是我们配置firewall的核心命令。

firewall-cmd

我们可以通过”firewall-cmd –help”来查看完整的命令帮助文档。

参数	作用
–get-default-zone	查询默认的区域名称。
–set-default-zone=<区域名称>	设置默认的区域，永久生效。
–get-zones	显示可用的区域。
–get-services	显示预先定义的服务。
–get-active-zones	显示当前正在使用的区域与网卡名称。
–add-source=	将来源于此IP或子网的流量导向指定的区域。
–remove-source=	不再将此IP或子网的流量导向某个指定区域。
–add-interface=<网卡名称>	将来自于该网卡的所有流量都导向某个指定区域。
–change-interface=<网卡名称>	将某个网卡与区域做关联。
–list-all	显示当前区域的网卡配置参数，资源，端口以及服务等信息。
–list-all-zones	显示所有区域的网卡配置参数，资源，端口以及服务等信息。
–add-service=<服务名>	设置默认区域允许该服务的流量。
–add-port=<端口号/协议>	允许默认区域允许该端口的流量。
–remove-service=<服务名>	设置默认区域不再允许该服务的流量。
–remove-port=<端口号/协议>	允许默认区域不再允许该端口的流量。
–reload	让“永久生效”的配置规则立即生效，覆盖当前的。

查看运行状态:

[root:~]# firewall-cmd –state
running

查看当前的区域：

[root:~]# firewall-cmd –get-default-zone
public

查看已被激活的区域信息:

[root:~]# firewall-cmd –get-active-zones
public
interfaces: eth0

查询eth0网卡的区域：

[root:~]# firewall-cmd –get-zone-of-interface=eth0
public

在public中分别查询ssh与http服务是否被允许：

[root:~]# firewall-cmd --zone=public --query-service=ssh
yes
[root:~]# firewall-cmd --zone=public --query-service=http
no

查看指定级别的接口:

[root:~]# firewall-cmd –zone=public –list-interfaces
ens33

查看指定级别的所有信息:

[root:~]# firewall-cmd --zone=public --list-all
public (active)
target: default
icmp-block-inversion: no
interfaces: ens33
sources:
services: dhcpv6-client ssh
ports:
protocols:
masquerade: no
forward-ports:
sourceports:
icmp-blocks:
rich rules:

查看所有级别被允许的信息:

[root:~]# firewall-cmd –get-service

RH-Satellite-6 amanda-client … xmpp-server

管理规则:

# firewall-cmd --panic-on # 丢弃
# firewall-cmd --panic-off # 取消丢弃
# firewall-cmd --query-panic # 查看丢弃状态
# firewall-cmd --reload # 更新规则，不重启服务
# firewall-cmd --complete-reload # 更新规则，重启服务

添加某接口至某信任等级，譬如添加 eth0 至 public，永久修改:

# firewall-cmd –zone=public –add-interface=eth0 –permanent

设置默认的信任级别:

[root:~]# firewall-cmd –set-default-zone=public
success

允许https服务流量通过public区域，要求立即生效且永久有效:

[root:~]# firewall-cmd –zone=public –add-service=https –permanent
success

不再允许http服务流量通过public区域，要求立即生效且永久生效:

[root:~]# firewall-cmd –zone=public –remove-service=http –permanent
success

允许 tcp 端口 8080 至 dmz 级别:

[root:~]# firewall-cmd –zone=dmz –add-port=8080/tcp
success

列出 dmz 级别的被允许的进入端口:

[root:~]# firewall-cmd –zone=dmz –list-ports

8080/tcp

允许某范围的 udp 端口至 public 级别，并永久生效:

[root:~]# firewall-cmd –zone=public –add-port=5000-6000/udp –permanent
success

改变ens33接口的区域

[root:~]# firewall-cmd –zone=work –change-interface=ens33 –permanent
success

删除 public zone 中的 eth0:

[root:~]# firewall-cmd –zone=public –remove-interface=eth0 –permanent
success

打开ip伪装：

[root:~]# firewall-cmd –zone=external –add-masquerade
success

关闭ip伪装：

[root:~]# firewall-cmd –zone=external –remove-masquerade

打开端口转发：

[root:~]# firewall-cmd –zone=public –add-masquerade

转发 tcp 22 端口至 3753

[root:~]#firewall-cmd –zone=public –add-forward-port=port=22:proto=tcp:toport=3753

转发22 端口数据至另一个 ip 的相同端口上：

[root:~]#firewall-cmd –zone=public –add-forward-port=port=22:proto=tcp:toaddr=192.168.1.100

转发 22 端口数据至另一 ip 的 2055 端口上：

[root:~]#firewall-cmd –zone=public –add-forward-port=port=22:proto=tcp:toport=2055:toaddr=192.168.1.100

封禁 ip：

[root:~]#firewall-cmd --permanent --add-rich-rule="rule family='ipv4' source address='222.222.222.222' reject"

通过 ipset 来封禁 ip：

[root:~]#firewall-cmd --permanent --zone=public --new-ipset=blacklist --type=hash:ip

[root:~]#firewall-cmd --permanent --zone=public --ipset=blacklist --add-entry=222.222.222.222

参考文章：

《CentOS 7 下使用 Firewall》

《CentOS7-firewall防火墙使用》

log4cpp是一款c++开源的日志库，我也是刚刚使用，所以对它的了解不是很多。这是第一次在项目中使用log4cpp，当然我在c++方面的项目经验也是屈指可数。这篇文章会是一个简明的教程，方便类似我这样的新手可以快速入门，不会有太高深的内容。log4cpp相关的背景和特点这里也不再多说，感兴趣的可自行查找资料。

基本步骤

1、实例化1个appender对象

2、实例化1个layout对象，并将layout绑定到appender

3、获得Category并设置优先级和添加apprender

4、调用Category写日志

参考代码

这是1个根据日期划分日志文件的简单样例。main.cpp代码

#include <iostream>
#include <log4cpp/Category.hh>
#include <log4cpp/PatternLayout.hh>
#include <log4cpp/DailyRollingFileAppender.hh>

using namespace std;
using namespace log4cpp;

int main() {
     DailyRollingFileAppender *appender = new DailyRollingFileAppender(
         string("default"),
         string("/Users/king/c_project/logger/build/log/data.log")
     );
     string patter = "%d[%p] %m%n";
     PatternLayout *layout = new PatternLayout();
     layout->setConversionPattern(patter);
     appender->setLayout(layout);
     Category& root = Category::getRoot();
     root.addAppender(appender);
     root.info("This is test.");
     root.error("sql error.");

     cout << "done!" << endl;
     return 0;
}

这里保存目录如果要指定日志保存目录，请使用绝对路径。

编译链接

c++ main.cpp -o logger -llog4cpp

./logger

今天把博客从原来的阿里云迁移出来了，在新环境搭建环境时，nginx和php-fpm都已经配好的时候(其实还是有问题的)，访问首页提示403错误。nginx和fpm的用户都配置为www-data,按道理说同一用户不应该没有访问文件的权限。以前nginx和fpm一直都是使用socket通信的方式，第一次使用unixsock方式配置，有点不知所措。

查看nginx的错误日志，发现最新的错误日志信息是类似这样的：

connect() to unix:/var/run/php-fpm.sock failed (13: Permission denied) while connecting to upstream

也就说出问题的地方是/var/run/php-fpm.sock文件，不是站点目录下文件的权限。在google上面搜索了一下，在stackoverflow上面发现一篇“nginx error connect to php5-fpm.sock failed (13: Permission denied)”,也是unixsock方式配置nginx和php-fpm的问题。问题里面给说的方案是需要设置一下unixsock中listen.user、listen.group、listen.mode这几个参数，按照默认的值将其前面的注释去掉即可，类似如下。

listen.owner = www-data
listen.group = www-data
listen.mode = 0660

然后重启php-fpm，重新访问页面，一切正常了。