小知识:nf_conntrack: table full, dropping packet问题的解决思路

介绍:nf_conntrack 工作在 3 层,支持 IPv4 和 IPv6,而 ip_conntrack 只支持 IPv4。目前,大多的 ip_conntrack_* 已被 nf_conntrack_* 取代,很多 ip_conntrack_* 仅仅是个 alias,原先的 ip_conntrack 的 /proc/sys/net/ipv4/netfilter/ 依然存在,但是新的 nf_conntrack 在 /proc/sys/net/netfilter/ 中,这个应该是做个向下的兼容:

 
复制代码

代码如下:

$ pwd

/proc/sys/net/ipv4/netfilter

$ ls

ip_conntrack_buckets ip_conntrack_tcp_loose ip_conntrack_tcp_timeout_syn_recv

ip_conntrack_checksum ip_conntrack_tcp_max_retrans ip_conntrack_tcp_timeout_syn_sent

ip_conntrack_count ip_conntrack_tcp_timeout_close ip_conntrack_tcp_timeout_syn_sent2

ip_conntrack_generic_timeout ip_conntrack_tcp_timeout_close_wait ip_conntrack_tcp_timeout_time_wait

ip_conntrack_icmp_timeout ip_conntrack_tcp_timeout_established ip_conntrack_udp_timeout

ip_conntrack_log_invalid ip_conntrack_tcp_timeout_fin_wait ip_conntrack_udp_timeout_stream

ip_conntrack_max ip_conntrack_tcp_timeout_last_ack

ip_conntrack_tcp_be_liberal ip_conntrack_tcp_timeout_max_retrans

$ pwd

/proc/sys/net/netfilter

$ ls

nf_conntrack_acct nf_conntrack_tcp_timeout_close

nf_conntrack_buckets nf_conntrack_tcp_timeout_close_wait

nf_conntrack_checksum nf_conntrack_tcp_timeout_established

nf_conntrack_count nf_conntrack_tcp_timeout_fin_wait

nf_conntrack_events nf_conntrack_tcp_timeout_last_ack

nf_conntrack_events_retry_timeout nf_conntrack_tcp_timeout_max_retrans

nf_conntrack_expect_max nf_conntrack_tcp_timeout_syn_recv

nf_conntrack_generic_timeout nf_conntrack_tcp_timeout_syn_sent

nf_conntrack_icmp_timeout nf_conntrack_tcp_timeout_time_wait

nf_conntrack_log_invalid nf_conntrack_tcp_timeout_unacknowledged

nf_conntrack_max nf_conntrack_udp_timeout

nf_conntrack_tcp_be_liberal nf_conntrack_udp_timeout_stream

nf_conntrack_tcp_loose nf_log/

conntrack_tcp_max_retrans

查看当前的连接数:

 
复制代码

代码如下:

# grep ip_conntrack /proc/slabinfo

ip_conntrack 38358 64324 304 13 1 : tunables 54 27 8 : slabdata 4948 4948 216

查出目前 ip_conntrack 的排名:

 
复制代码

代码如下:

$ cat /proc/net/ip_conntrack | cut -d -f 10 | cut -d = -f 2 | sort | uniq -c | sort -nr | head -n 10

nf_conntrack/ip_conntrack 跟 nat 有关,用来跟踪连接条目,它会使用一个哈希表来记录 established 的记录。nf_conntrack 在 2.6.15 被引入,而 ip_conntrack 在 2.6.22 被移除,如果该哈希表满了,就会出现:

 
复制代码

代码如下:

nf_conntrack: table full, dropping packet

解决此问题有如下几种思路。

1.不使用 nf_conntrack 模块

首先要移除 state 模块,因为使用该模块需要加载 nf_conntrack。确保 iptables 规则中没有出现类似 state 模块的规则,如果有的话将其移除:

-A INPUT -m state –state RELATED,ESTABLISHED -j ACCEPT

注释 /etc/sysconfig/iptables-config 中的:

 
复制代码

代码如下:

IPTABLES_MODULES=”ip_conntrack_netbios_ns”

移除 nf_conntrack 模块:

复制代码

代码如下:

$ sudo modprobe -r xt_NOTRACK nf_conntrack_netbios_ns nf_conntrack_ipv4 xt_state

$ sudo modprobe -r nf_conntrack

现在 /proc/net/ 下面应该没有 nf_conntrack 了。

2.调整 /proc/ 下面的参数

可以增大 conntrack 的条目(sessions, connection tracking entries) CONNTRACK_MAX 或者增加存储 conntrack 条目哈希表的大小 HASHSIZE

默认情况下,CONNTRACK_MAX 和 HASHSIZE 会根据系统内存大小计算出一个比较合理的值:

对于 CONNTRACK_MAX,其计算公式:

CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (ARCH / 32)

比如一个 64 位 48G 的机器可以同时处理 48*1024^3/16384/2 = 1572864 条 netfilter 连接。对于大于 1G 内存的系统,默认的 CONNTRACK_MAX 是 65535。

对于 HASHSIZE,默认的有这样的转换关系:

CONNTRACK_MAX = HASHSIZE * 8

这表示每个链接列表里面平均有 8 个 conntrack 条目。其真正的计算公式如下:

HASHSIZE = CONNTRACK_MAX / 8 = RAMSIZE (in bytes) / 131072 / (ARCH / 32)

比如一个 64 位 48G 的机器可以存储 48*1024^3/131072/2 = 196608 的buckets(连接列表)。对于大于 1G 内存的系统,默认的 HASHSIZE 是 8192。

可以通过 echo 直接修改目前系统 CONNTRACK_MAX 以及 HASHSIZE 的值:

复制代码

代码如下:

$ sudo su -c “echo 100000 > /proc/sys/net/netfilter/nf_conntrack_max”

$ sudo su -c “echo 50000 > /proc/sys/net/netfilter/nf_conntrack_buckets”

还可以缩短 timeout 的值:

复制代码

代码如下:

$ sudo su -c “echo 600 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established”

3.使用 raw 表,不跟踪连接

iptables 中的 raw 表跟包的跟踪有关,基本就是用来干一件事,通过 NOTRACK 给不需要被连接跟踪的包打标记,也就是说,如果一个连接遇到了 -j NOTRACK,conntrack 就不会跟踪该连接,raw 的优先级大于 mangle, nat, filter,包含 PREROUTING 和 OUTPUT 链。

当执行 -t raw 时,系统会自动加载 iptable_raw 模块(需要该模块存在)。raw 在 2.4 以及 2.6 早期的内核中不存在,除非打了 patch,目前的系统应该都有支持:

$ sudo iptables -A FORWARD -m state –state UNTRACKED -j ACCEPT

$ sudo iptables -t raw -A PREROUTING -p tcp -m multiport –dport 80,81,82 -j NOTRACK

$ sudo iptables -t raw -A OUTPUT -p tcp -m multiport –sport 80,81,82 -j NOTRACK

上面三种方式,最有效的是 1 跟 3,第二种治标不治本。

参考文档:

http://www.digipedia.pl/usenet/thread/16263/7806/

http://serverfault.com/questions/72366/how-do-i-disable-the-nf-conntrack-kernel-module-in-centos-5-3-without-recompilin

http://wiki.khnet.info/index.php/Conntrack_tuning
声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:Linux下简单限制网卡带宽的设置方法

2023-6-3 7:02:11

建站知识

小知识:find 按文件修改时间查找文件及find空文件夹

2023-6-3 7:18:44

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索