句柄数，文件描述符，最大文件打开数;ulimit -a
http://blog.itpub.net/17283404/viewspace-694350
分类： Linux
1. /proc/sys/net/core/rmem_max — 最大的TCP数据接收缓冲
2. /proc/sys/net/core/wmem_max — 最大的TCP数据发送缓冲
3. /proc/sys/net/ipv4/tcp_timestamps — 时间戳在(请参考RFC 1323)TCP的包头增加12个字节
4. /proc/sys/net/ipv4/tcp_sack — 有选择的应答
5. /proc/sys/net/ipv4/tcp_window_scaling — 支持更大的TCP窗口. 如果TCP窗口最大超过65535(64K), 必须设置该数值为1
6. rmem_default — 默认的接收窗口大小
7. rmem_max — 接收窗口的最大大小
8. wmem_default — 默认的发送窗口大小
9. wmem_max — 发送窗口的最大大小
/proc目录下的所有内容都是临时性的, 所以重启动系统后任何修改都会丢失.
建议在系统启动时自动修改TCP/IP参数:
把下面代码增加到/etc/rc.local文件, 然后保存文件, 系统重新引导的时候会自动修改下面的TCP/IP参数:
echo 256960 > /proc/sys/net/core/rmem_default
echo 256960 > /proc/sys/net/core/rmem_max
echo 256960 > /proc/sys/net/core/wmem_default
echo 256960 > /proc/sys/net/core/wmem_max
echo 0 > /proc/sys/net/ipv4/tcp_timestamps
echo 1 > /proc/sys/net/ipv4/tcp_sack
echo 1 > /proc/sys/net/ipv4/tcp_window_scaling
TCP/IP参数都是自解释的, TCP窗口大小设置为256960, 禁止TCP的时间戳(取消在每个数据包的头中增加12字节), 支持更大的TCP窗口和TCP有选择的应答。
上面数值的设定是根据互连网连接和最大带宽/延迟率来决定.
注: 上面实例中的数值可以实际应用, 但它只包含了一部分参数.
另外一个方法: 使用 /etc/sysctl.conf 在系统启动时将参数配置成您所设置的值:
net.core.rmem_default = 256960
net.core.rmem_max = 256960
net.core.wmem_default = 256960
net.core.wmem_max = 256960
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_sack =1
net.ipv4.tcp_window_scaling = 1
二.系统内核参数----------------------------------------------------------------
1./proc/sys/fs/super-max
该文件指定超级块处理程序的最大数目。挂装的任何文件系统需要使用超级块，所以如果挂装了大量文件系统，则可能会用尽超级块处理程序。
缺省设置：256
2./proc/sys/fs/super-nr
该文件显示当前已分配超级块的数目。该文件是只读的，仅用于显示信息。
3./proc/sys/kernel
/proc/sys/kernel/acct
该文件有三个可配置值，根据包含日志的文件系统上可用空间的数量（以百分比表示），这些值控制何时开始进行进程记帐：
如果可用空间低于这个百分比值，则停止进程记帐
如果可用空间高于这个百分比值，则开始进程记帐
检查上面两个值的频率（以秒为单位）
要更改这个文件的某个值，应该回送用空格分隔开的一串数字。
缺省设置：2 4 30
如果包含日志的文件系统上只有少于 2% 的可用空间，则这些值会使记帐停止，如果有 4% 或更多可用空间，则再次启动记帐。每 30 秒做一次检查。
4./proc/sys/kernel/ctrl-alt-del
该文件有一个二进制值，该值控制系统在接收到 ctrl+alt+delete 按键组合时如何反应。这两个值表示：
零（0）值表示捕获 ctrl+alt+delete，并将其送至 init 程序。这将允许系统可以完美地关闭和重启，就好象您输入 shutdown 命令一样。
壹（1）值表示不捕获 ctrl+alt+delete，将执行非干净的关闭，就好象直接关闭电源一样。
缺省设置：0
5./proc/sys/kernel/domainname
该文件允许您配置网络域名。它没有缺省值，也许已经设置了域名，也许没有设置。
6./proc/sys/kernel/hostname
该文件允许您配置网络主机名。它没有缺省值，也许已经设置了主机名，也许没有设置。
7./proc/ss/kernel/msgmax
该文件指定了从一个进程发送到另一个进程的消息的最大长度。进程间的消息传递是在内核的内存中进行，不会交换到磁盘上，所以如果增加该值，则将增加操作系统所使用的内存数量。
缺省设置：8192
8./proc/sys/kernel/msgmnb
该文件指定在一个消息队列中最大的字节数。
缺省设置：16384
9./proc/sys/kernel/msgmni
该文件指定消息队列标识的最大数目。
缺省设置：16
10./proc/sys/kernel/panic
该文件表示如果发生“内核严重错误（kernel panic）”，则内核在重新引导之前等待的时间（以秒为单位）。零（0）秒设置在发生内核严重错误时将禁止重新引导。
缺省设置：0
11./proc/sys/kernel/printk
该文件有四个数字值，它们根据日志记录消息的重要性，定义将其发送到何处。关于不同日志级别的更多信息，请阅读 syslog(2) 联机帮助页。该文件的四个值为：
控制台日志级别：优先级高于该值的消息将被打印至控制台
缺省的消息日志级别：将用该优先级来打印没有优先级的消息
最低的控制台日志级别：控制台日志级别可被设置的最小值（最高优先级）
缺省的控制台日志级别：控制台日志级别的缺省值
缺省设置：6 4 1 7
12./proc/sys/kernel/shmall
该文件是在任何给定时刻系统上可以使用的共享内存的总量（以字节为单位）。
缺省设置：2097152
13./proc/sys/kernel/shmax
该文件指定内核所允许的最大共享内存段的大小（以字节为单位）。
缺省设置：33554432
14./proc/sys/kernel/shmmni
该文件表示用于整个系统共享内存段的最大数目。
缺省设置：4096
15./proc/sys/kernel/sysrq
如果该文件指定的值为非零，则激活 System Request Key。
缺省设置：0
16./proc/sys/kernel/threads-max
该文件指定内核所能使用的线程的最大数目。
缺省设置：2048
17./proc/sys/net
/proc/sys/net/core/message_burst
写新的警告消息所需的时间（以 1/10 秒为单位）；在这个时间内所接收到的其它警告消息会被丢弃。这用于防止某些企图用消息“淹没”您系统的人所使用的拒绝服务（Denial of Service）攻击。
缺省设置：50（5 秒）
18./proc/sys/net/core/message_cost
该文件存有与每个警告消息相关的成本值。该值越大，越有可能忽略警告消息。
缺省设置：5
19./proc/sys/net/core/netdev_max_backlog
该文件指定了，在接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。
缺省设置：300
20./proc/sys/net/core/optmem_max
该文件指定了每个套接字所允许的最大缓冲区的大小。
21./proc/sys/net/core/rmem_default
该文件指定了接收套接字缓冲区大小的缺省值（以字节为单位）。
22./proc/sys/net/core/rmem_max
该文件指定了接收套接字缓冲区大小的最大值（以字节为单位）。
23./proc/sys/net/core/wmem_default
该文件指定了发送套接字缓冲区大小的缺省值（以字节为单位）。
24./proc/sys/net/core/wmem_max
该文件指定了发送套接字缓冲区大小的最大值（以字节为单位）。
25./proc/sys/net/ipv4
所有 IPv4 和 IPv6 的参数都被记录在内核源代码文档中。请参阅文件 /usr/src/linux/Documentation/networking/ip-sysctl.txt。
26./proc/sys/net/ipv6
同 IPv4。
27./proc/sys/vm
/proc/sys/vm/buffermem
该文件控制用于缓冲区内存的整个系统内存的数量（以百分比表示）。它有三个值，通过把用空格相隔的一串数字写入该文件来设置这三个值。
用于缓冲区的内存的最低百分比
如果发生所剩系统内存不多，而且系统内存正在减少这种情况，系统将试图维护缓冲区内存的数量。
用于缓冲区的内存的最高百分比
缺省设置：2 10 60
28./proc/sys/vm/freepages
该文件控制系统如何应对各种级别的可用内存。它有三个值，通过把用空格相隔的一串数字写入该文件来设置这三个值。
如果系统中可用页面的数目达到了最低限制，则只允许内核分配一些内存。
如果系统中可用页面的数目低于这一限制，则内核将以较积极的方式启动交换，以释放内存，从而维持系统性能。
内核将试图保持这个数量的系统内存可用。低于这个值将启动内核交换。
缺省设置：512 768 1024
29./proc/sys/vm/kswapd
该文件控制允许内核如何交换内存。它有三个值，通过把用空格相隔的一串数字写入该文件来设置这三个值：
内核试图一次释放的最大页面数目。如果想增加内存交换过程中的带宽，则需要增加该值。
内核在每次交换中试图释放页面的最少次数。
内核在一次交换中所写页面的数目。这对系统性能影响最大。这个值越大，交换的数据越多，花在磁盘寻道上的时间越少。然而，这个值太大会因“淹没”请求队列而反过来影响系统性能。
缺省设置：512 32 8
30./proc/sys/vm/pagecache
该文件与 /proc/sys/vm/buffermem 的工作内容一样，但它是针对文件的内存映射和一般高速缓存。
使内核设置具有持久性
这里提供了一个方便的实用程序，用于更改 /proc/sys 目录下的任何内核参数。它使您可以更改运行中的内核（类似于上面用到的 echo 和重定向方法），但它还有一个在系统引导时执行的配置文件。这使您可以更改运行中的内核，并将这些更改添加到配置文件，以便于在系统重新引导之后，这些更改仍然生效。
该实用程序称为 sysctl，在 sysctl(8) 的联机帮助页中，对这个实用程序进行了完整的文档说明。sysctl 的配置文件是 /etc/sysctl.conf，可以编辑该文件，并在 sysctl.conf(8) 下记录了该文件。sysctl 将 /proc/sys 下的文件视为可以更改的单个变量。所以，以 /proc/sys 下的文件 /proc/sys/fs/file-max 为例，它表示系统中所允许的文件句柄的最大数目，这个文件被表示成 fs.file-max。
这个示例揭示了 sysctl 表示法中的一些奇妙事情。由于 sysctl 只能更改 /proc/sys 目录下的变量，并且人们始终认为变量是在这个目录下，因此省略了变量名的那一部分（/proc/sys）。另一个要说明的更改是，将目录分隔符（正斜杠 /）换成了英文中的句号（点 .）。
将 /proc/sys 中的文件转换成 sysctl 中的变量有两个简单的规则：
去掉前面部分 /proc/sys。
将文件名中的正斜杠变为点。
这两条规则使您能将 /proc/sys 中的任一文件名转换成 sysctl 中的任一变量名。一般文件到变量的转换为：
/proc/sys/dir/file --> dir.file
dir1.dir2.file --> /proc/sys/dir1/dir2/file
可以使用命令 sysctl -a 查看所有可以更改的变量和其当前设置。
用 sysctl 还可以更改变量，它所做的工作与上面所用的 echo 方法完全一样。其表示法为：
sysctl -w dir.file="value"
还是用 file-max 作为示例，使用下面两种方法中的一种将该值更改为 16384。
原创文章，转载请注明出处：http://jameswxx.iteye.com/blog/2096461
写这个文章是为了以正视听，网上的文章人云亦云到简直令人发指。到底最大文件数被什么限制了？too many open files错误到底可以通过什么参数控制？网上的很多文章说的大致步骤是没有错的，大致如下：
shell级限制
通过ulimit -n修改，如执行命令ulimit -n 1000，则表示将当前shell的当前用户所有进程能打开的最大文件数量设置为1000.
用户级限制
ulimit -n是设置当前shell的当前用户所有进程能打开的最大文件数量，但是一个用户可能会同时通过多个shell连接到系统，所以还有一个针对用户的限制，通过修改 /etc/security/limits.conf实现，例如，往limits.conf输入以下内容：
root soft nofile 1000
root hard nofile 1200
soft nofile表示软限制，hard nofile表示硬限制，软限制要小于等于硬限制。上面两行语句表示，root用户的软限制为1000，硬限制为1200，即表示root用户能打开的最大文件数量为1000，不管它开启多少个shell。
系统级限制
修改cat /proc/sys/fs/file-max
一 ulimit -n
网上很多人说，ulimit -n限制用户单个进程的问价打开最大数量。严格来说，这个说法其实是错误的。看看ulimit官方描述：Provides control over the resources available to the shell and to processes started by it, on systems that allow such control. The -H and -S options specify that the hard or soft limit is set for the given resource. A hard limit cannot be increased once it is set; a soft limit may be increased up to the value of the hard limit. If neither -H nor -S is specified, both the soft and hard limits are set. The value of limit can be a number in the unit specified for the resource or one of the special values hard, soft, or unlimited, which stand for the current hard limit, the current soft limit, and no limit, respectively.
If limit is omitted, the current value of the soft limit of the resource is printed, unless the -H option is given. When more than one resource is specified, the limit name and unit are printed before the value.
人家从来就没说过是限制用户的单个进程的最大文件打开数量，看看红色部分，是限制当前shell以及该shell启动的进程打开的文件数量。为什么会给人限制单个线程的最大文件数量的错觉，因为很多情况下，在一个shell环境里，虽然可能会有多个进程，但是非常耗费文件句柄的进程不会很多，只是其中某个进程非常耗费文件句柄，比如服务器上运行着一个tomcat，那么就是java进程要占用大多数文件句柄。此时ulimit设置的最大文件数和java进程耗费的最大文件数基本是对应的，所以会给人这样的一个错觉。
还有，很多文章称ulimit -n 只允许设置得越来越小，比如先执行了ulimit -n 1000，在执行ulimit -n 1001，就会报"cannot modify limit: Operation not permitted"错误。这个其实也是不准确的说法。首先要搞清楚，任何用户都可以执行ulimit，但root用户和非root用户是非常不一样的。
[wxx@br162 etc]$
-bash: ulimit: open files: cannot modify limit: Operation not permitted
-bash: ulimit: open files: cannot modify limit: Operation not permitted
[root@br162 ~]#
1000000
2000
二 /etc/security/limits.conf
[root@zk203 ~]# ulimit -n
5000
[root@zk203 ~]#
三 /proc/sys/fs/file-max
1610495
四 总结一下
- /proc/sys/fs/file-max限制不了/etc/security/limits.conf
- 只有root用户才有权限修改/etc/security/limits.conf
- 对于非root用户， /etc/security/limits.conf会限制ulimit -n，但是限制不了root用户
- 对于非root用户，ulimit -n只能越设置越小，root用户则无限制
- 任何用户对ulimit -n的修改只在当前环境有效，退出后失效，重新登录新来后，ulimit -n由limits.conf决定
- 如果limits.conf没有做设定，则默认值是1024
- 当前环境的用户所有进程能打开的最大问价数量由ulimit -n决定
每天进步一点点——Linux中的文件描述符与打开文件之间的关系，linux文件描述符
转载请说明出处：http://blog.csdn.net/cywosp/article/details/38965239
1. 概述 在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：
文件描述与打开的文件对应模型如下图：
2. 文件描述限制 在编写文件操作的或者网络通信的软件时，初学者一般可能会遇到“Too many open files”的问题。这主要是因为文件描述符是系统的一个重要资源，虽然说系统内存有多少就可以打开多少的文件描述符，但是在实际实现过程中内核是会做相应的处理的，一般最大打开文件数会是系统内存的10%（以KB来计算）（称之为系统级限制），查看系统级别的最大打开文件数可以使用sysctl -a | grep fs.file-max命令查看。与此同时，内核为了不让某一个进程消耗掉所有的文件资源，其也会对单个进程最大打开文件数做默认值处理（称之为用户级限制），默认值一般是1024，使用ulimit -n命令可以查看。在Web服务器中，通过更改系统默认值文件描述符的最大值来优化服务器是最常见的方式之一，具体优化方式请查看http://blog.csdn.net/kumu_linux/article/details/7877770。
3. 文件描述符合打开文件之间的关系 每一个文件描述符会与一个打开文件相对应，同时，不同的文件描述符也会指向同一个文件。相同的文件可以被不同的进程打开也可以在同一个进程中被多次打开。系统为每一个进程维护了一个文件描述符表，该表的值都是从0开始的，所以在不同的进程中你会看到相同的文件描述符，这种情况下相同文件描述符有可能指向同一个文件，也有可能指向不同的文件。具体情况要具体分析，要理解具体其概况如何，需要查看由内核维护的3个数据结构。 1. 进程级的文件描述符表 2. 系统级的打开文件描述符表 3. 文件系统的i-node表
进程级的描述符表的每一条目记录了单个文件描述符的相关信息。 1. 控制文件描述符操作的一组标志。（目前，此类标志仅定义了一个，即close-on-exec标志） 2. 对打开文件句柄的引用
内核对所有打开的文件的文件维护有一个系统级的描述符表格（open file description table）。有时，也称之为打开文件表（open file table），并将表格中各条目称为打开文件句柄（open file handle）。一个打开文件句柄存储了与一个打开文件相关的全部信息，如下所示： 1. 当前文件偏移量（调用read()和write()时更新，或使用lseek()直接修改） 2. 打开文件时所使用的状态标识（即，open()的flags参数） 3. 文件访问模式（如调用open()时所设置的只读模式、只写模式或读写模式） 4. 与信号驱动相关的设置 5. 对该文件i-node对象的引用 6. 文件类型（例如：常规文件、套接字或FIFO）和访问权限 7. 一个指针，指向该文件所持有的锁列表 8. 文件的各种属性，包括文件大小以及与不同类型操作相关的时间戳
下图展示了文件描述符、打开的文件句柄以及i-node之间的关系，图中，两个进程拥有诸多打开的文件描述符。
在进程A中，文件描述符1和30都指向了同一个打开的文件句柄（标号23）。这可能是通过调用dup()、dup2()、fcntl()或者对同一个文件多次调用了open()函数而形成的。 进程A的文件描述符2和进程B的文件描述符2都指向了同一个打开的文件句柄（标号73）。这种情形可能是在调用fork()后出现的（即，进程A、B是父子进程关系），或者当某进程通过UNIX域套接字将一个打开的文件描述符传递给另一个进程时，也会发生。再者是不同的进程独自去调用open函数打开了同一个文件，此时进程内部的描述符正好分配到与其他进程打开该文件的描述符一样。 此外，进程A的描述符0和进程B的描述符3分别指向不同的打开文件句柄，但这些句柄均指向i-node表的相同条目（1976），换言之，指向同一个文件。发生这种情况是因为每个进程各自对同一个文件发起了open()调用。同一个进程两次打开同一个文件，也会发生类似情况。
4. 总结 1. 由于进程级文件描述符表的存在，不同的进程中会出现相同的文件描述符，它们可能指向同一个文件，也可能指向不同的文件 2. 两个不同的文件描述符，若指向同一个打开文件句柄，将共享同一文件偏移量。因此，如果通过其中一个文件描述符来修改文件偏移量（由调用read()、write()或lseek()所致），那么从另一个描述符中也会观察到变化，无论这两个文件描述符是否属于不同进程，还是同一个进程，情况都是如此。 3. 要获取和修改打开的文件标志（例如：O_APPEND、O_NONBLOCK和O_ASYNC），可执行fcntl()的F_GETFL和F_SETFL操作，其对作用域的约束与上一条颇为类似。 4. 文件描述符标志（即，close-on-exec）为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不同进程中的其他文件描述符
参考 [1] http://blog.chinaunix.net/uid-20633888-id-2747146.html[2] http://www.cppblog.com/guojingjia2006/archive/2012/11/21/195450.html[3] http://blog.csdn.net/kumu_linux/article/details/7877770 [4] 《Linux/UNIX系统编程手册》
linux下的文件描述符一共有多少？
一个进程可同时打开的文件个数是有限的，这个限制是在/etc//security/limits.conf文件中设置的。例如要设置用户test的一个进程可最大打开的文件数为2048，在该文件里新增加一行：
test hard nofile 2048
保存该文件并退出，test用户要重新登录系统，设置才会生效。需要说明的有三点：
(1)在这里设置的数字，不能超过/proc/sys/fs/file-max里面的数字。即便超过也没用。因为file-max里面限制了整个系统能同时打开的文件的数目。
(2)在/etc//security/limits.conf文件里还可以针对用户设置其他资源的限制。
(3)使用ulimit -n 可查看当前用户在一个进程内可同时打开的文件数目。
以上引用：www.linuxdiyf.com/viewarticle.php?id=14894
文件描述符与打开的文件个数是相同的，因为，只要打开一个文件就要分配一个文件描述符。
在linux下，是不是只要某个文件的文件描述符时0，这个文件就可以作为stdin？
Linux的本质就是一切皆文件，输入输出设备也是以文件形式存在和管理的。
内核启动的时候默认打开这三个I/O设备文件：标准输入文件stdin，标准输出文件stdout，标准错误输出文件stderr，分别得到文件描述符 0, 1, 2。
你只是以自定义的文件代替了系统默认的设备文件，实现了输入输出的重定向。
http://o-u-u.com/2014/01/linuxtoo-open-files/
看到一些资料关于文件描述符的，与大家分享下：
我们知道，Linux下，文件描述符就是一个简单的整数值，习惯上，标准输入（standard input）的文件描述符是 0，标准输出（standard output）是 1，标准错误（standard error）是 2。POSIX 定义了STDIN_FILENO、STDOUT_FILENO 和STDERR_FILENO 来代替 0、1、2。这三个符号常量的定义位于头文件 unistd.h。
文件描述符的有效范围是0 到OPEN_MAX。那么一个进程最多到底能打开多少个文件描述符呢？下面，就以asterisk进程为例来说明。
#ps –ef | grep asterisk
从第二列得到asterisk的PID为19488。
# cat /proc/19488/limits
红线一行说明asterisk进程最大能打开1024个文件描述符（不包含它的子进程或创建出来的线程）。在/proc/19488/task/目录下，详细列出了其下的子任务的情况，每个子文件夹里同样有一个limits文件，限定了各子任务的情况。
一个进程打开了几个文件描述符呢？
# ll /proc/19488/fd/
子目录fd中，详细列出了进程打开的每个文件描述符，同样，/proc/19488/task/XXXX/fd下也会有子任务打开的文件描述符的情况。要知道有几个，执行
# ll /proc/19488/fd/ | wc -l
怎样知道一个进程及其子进程和哪些文件有关联呢？lsof可以完成这工作。请注意，关联文件和打开文件描述符是两个不同的概念，关联文件的数量可能远远大于打开的文件描述符的数量。
# lsof | grep asterisk | wc –l
也可以用父进程的PID过滤
# lsof | grep 19488 | wc –l
我这里得到的值是9525
怎样修改文件描述符的限定呢？临时修改，可以通过ulimit。
# ulimit -SHn 2048
但是这样只能影响到当前的session，当终端重新连接或当前用户退出，配置就失效了。如果想永久变更需要编辑/etc/security/limits.conf 文件，添加如下两行：
* hard nofile 2048
* soft nofile 2048
设置hard limit还有一点要注意的就是hard limit不能大于/proc/sys/fs/nr_open，假如hard limit大于nr_open，注销后无法正常登录。可以修改nr_open的值：
# echo 2000000 > /proc/sys/fs/nr_open
上面设置是用户级的，还有系统内核级的参数设置，它限制了所有用户打开文件的最大值，如果用户设置的值大于内核的限制，也是不行的,：
查找file-max的内核参数：
# sysctl -a|grep file-max
更改file-max的内核参数：
# sysctl -w file-max=65535
Sysctl也是临时的，要想永久生效，可以通过更改sysctl的文件，编辑/etc/sysctl.conf文件，添加或修改以下一行：
fs.file-max=65535
需要注意的是，文件描述符的限制，不局限于这里描述的这些，还可能和进程的启动参数、用户的环境设置有关。当然，如果是进程BUG造成文件描述符没有及时关闭回收，这增大限制也只是治标，根本上还得修复BUG。
此外，lsof会列出系统中所占用的资源,但是这些资源不一定会占用打开的文件描述符(比如共享内存,信号量,消息队列,内存映射.等,虽然占用了这些资源,但不占用打开文件号)，因此有可能出现cat /proc/sys/fs/file-max 的值小于lsof | wc -l。asterisk本身提供了一个启动脚本，名为safe_asterisk，脚本里面就对文件描述符做了一些设置
其它参考：
[root@robot ~]# cat /proc/sys/kernel/pid_max // 最大进程数
[root@robot ~]# cat /proc/sys/kernel/threads-max // 最大线程数
[root@robot ~]# cat /proc/sys/fs/file-max // 最大文件描述符数
查 查看当前系统使用的打开文件描述符数
[root@localhost bin]# cat /proc/sys/fs/file-nr
5664 0 186405
其中第一个数表示当前系统已分配使用的打开文件描述符数，第二个数为分配后已释放的（目前已不再使用），第三个数等于file-max。
参考：http://blog.csdn.net/yetyongjin/article/details/7476860
http://blog.csdn.net/superchanon/article/details/13303705
http://weijia.blog.51cto.com/616222/119731
Linux最大进程数、最大线程数、最大文件描述符数
[root@robot ~]# cat /proc/sys/kernel/pid_max // 最大进程数 32768 [root@robot ~]# cat /proc/sys/kernel/threads-max // 最大线程数 15856 [root@robot ~]# cat /proc/sys/fs/file-max // 最大文件描述符数 101386 [root@robot ~]#
Linux内核提供了一种通过/proc文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而不占用外存空间。它以文件系统的方式为访问系统内核数据的操作提供接口。
用户可以通过/proc文件系统与内核进行交互。从上面的例子再次可以看出/proc与内核的关系是多么的“亲密”。我们可以
从/proc知道更多的信息。
ulimit命令，也可查看系统一些极限设置值，也可以设置它们。比如可以设置core.xxx文件的大小。
[root@robot ~]# ulimit -a core file size (blocks, -c) unlimited data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 7928 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 1024 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited [root@robot ~]#
-a All current limits are reported
-b The maximum socket buffer size
-c The maximum size of core files created
-d The maximum size of a process's data segment
-e The maximum scheduling priority ("nice")
-f The maximum size of files written by the shell and its chil-
dren
-i The maximum number of pending signals
-l The maximum size that may be locked into memory
-m The maximum resident set size (many systems do not honor
this limit)
-n The maximum number of open file descriptors (most systems do
not allow this value to be set)
-p The pipe size in 512-byte blocks (this may not be set)
-q The maximum number of bytes in POSIX message queues
-r The maximum real-time scheduling priority
-s The maximum stack size
-t The maximum amount of cpu time in seconds
-u The maximum number of processes available to a single user
-v The maximum amount of virtual memory available to the shell
-x The maximum number of file locks
-T The maximum number of threads
参考了chinaunix一位网友的理解：
/proc/sys/fs/file-max 这个值是整个操作系统能打开的最大文件数
[root@mail t2]# ulimit -a
core file size (blocks, -c) 10240
data seg size (kbytes, -d) unlimited
file size (blocks, -f) unlimited
pending signals (-i) 1024
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
这个值是一个用户的一个进程能打开的最大文件数
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 8063
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
有些值也可以通过sysconf函数进行设置和取得：
（转载）http://www.cnblogs.com/leaven/archive/2011/01/14/1935181.html
代码
#include <unistd.h>
#define ONE_MB (1024 * 1024)
int main (void)
{
long num_procs;
long page_size;
long num_pages;
long free_pages;
long long mem;
long long free_mem;
num_procs = sysconf (_SC_NPROCESSORS_CONF);
printf ("CPU 个数为: %ld 个\n", num_procs);
page_size = sysconf (_SC_PAGESIZE);
printf ("系统页面的大小为: %ld K\n", page_size / 1024 );
num_pages = sysconf (_SC_PHYS_PAGES);
printf ("系统中物理页数个数: %ld 个\n", num_pages);
free_pages = sysconf (_SC_AVPHYS_PAGES);
printf ("系统中可用的页面个数为: %ld 个\n", free_pages);
mem = (long long) ((long long)num_pages * (long long)page_size);
mem /= ONE_MB;
free_mem = (long long)free_pages * (long long)page_size;
free_mem /= ONE_MB;
printf ("总共有 %lld MB 的物理内存, 空闲的物理内存有: %lld MB\n", mem, free_mem);
return (0);
}
原型是：
引用#include <unistd.h>
long sysconf (int name);
sysconf() 返回选项 (变量) 的当前值，这个值可配置的但也是受系统限制的。在成功完成的情况下，sysconf() 返回变量的当前值。该值受到的限制将少于编译时 <limits.h>， <unistd.h> 或 <time.h> 中可用的对应值。大多数这些变量的值在调用进程的生存时间内不变。
如果出错，那么函数返回 -1 ，并适当地设置 errno 。当没有错误发生时， -1 也是一个合法的返回值。因此，程序要检查错误，应该在调用 sysconf() 之前将 errno 设置为 0 ，然后，如果返回 -1，则检验到错误。
参数 name 指定我们感兴趣的运行时限制的名字，它必须是以值中之一(除非另有说明，否则返回值都是整数)：
引用_SC_2_C_BIND : 一个布尔值，指出是否支持 POSIX C 语言绑定。返回值是 _POSIX2_C_BIND 。
_SC_2_C_DEV : 一个布尔值，指出是否支持 POSIX C 语言开发使用工具选项。返回值是 _POSIX2_C_DEV 。
_SC_2_C_VERSION : 它指出支持哪一个 ISO POSIX.2 标准 (命令) 的版本。返回值是 _POSIX2_C_VERSION 。
_SC_2_CHAR_TERM : 一个布尔值，指出是否至少支持一个终端。返回值是 _POSIX2_CHAR_TERM 。
_SC_2_FORT_DEV : 一个布尔值，指出是否支持 FORTRAN 开发使用工具选项。返回值是 POSIX2_FORT_DEV 。
... .... 待补充 ... ...
使用 sysconf() 函数时，必须注意：
1、CLK_TCK 的值是可变的，因此，不应该假设它是一个编译时间常量。
2、调用 setrlimit 会使 OPEN_MAX 的值发生改变。
3、 通过将 sysconf (_SC_PHYS_PAGES) 和 sysconf (_SC_PAGESIZE) 相乘，来确定物理内存的总量 (以字节为单位) 可以返回一个值，该值超出 32 位进程中 long 或 unsigned long 可表示的最大值。同样适用于通过将 sysconf (_SC_PAGESIZE) 和 sysconf (_SC_AVPHYS_PAGES) 想乘，来确定未使用的物理内存的总量 (以字节为单位)。这个问题有两个工作区。第 1 个工作区将程序作为 64 位的进程进行编译 (从而使 long 足够大到可以容纳乘法运算的结果) ，但是，这样做的缺点是得到的程序只能在 64 位的内核中运行。第 2 个工作区是用来将得到的乘法运算结果存储在一个 64 位的量中，如 longlong_t (Solaris OS 类型) 或 long long (linux)。它的有点是可以在 32 位和 64 位的内核中正确工作。
100万并发连接服务器笔记之处理端口数量受限问题
第二个遇到的问题：端口数量受限
一般来说，单独对外提供请求的服务不用考虑端口数量问题，监听某一个端口即可。但是向提供代理服务器，就不得不考虑端口数量受限问题了。当前的1M并发连接测试，也需要在客户端突破6万可用端口的限制。
单机端口上限为65536
端口为16进制，那么2的16次方值为65536，在linux系统里面，1024以下端口都是超级管理员用户（如root）才可以使用，普通用户只能使用大于1024的端口值。
系统提供了默认的端口范围：
cat /proc/sys/net/ipv4/ip_local_port_range
32768 61000
大概也就是共61000-32768=28232个端口可以使用，单个IP对外只能发送28232个TCP请求。
以管理员身份，把端口的范围区间增到最大：
echo "1024 65535"> /proc/sys/net/ipv4/ip_local_port_range
现在有64511个端口可用.
以上做法只是临时，系统下次重启，会还原。 更为稳妥的做法是修改/etc/sysctl.conf文件，增加一行内容
net.ipv4.ip_local_port_range= 1024 65535
保存，然后使之生效：
sysctl -p
现在可以使用的端口达到64510个（假设系统所有运行的服务器是没有占用大于1024的端口的，较为纯净的centos系统可以做到），要想达到50万请求，还得再想办法。
增加IP地址
一般假设本机网卡名称为 eth0，那么手动再添加几个虚拟的IP：
ifconfig eth0:1 192.168.190.151
ifconfig eth0:2 192.168.190.152 ......
或者偷懒一些：
for i in `seq 1 9`; do ifconfig eth0:$i 192.168.190.15$i up ; done
这些虚拟的IP地址，一旦重启，或者 service network restart 就会丢失。
为了模拟较为真实环境，在测试端，手动再次添加9个vmware虚拟机网卡，每一个网卡固定一个IP地址，这样省去每次重启都要重新设置的麻烦。
192.168.190.134
192.168.190.143
192.168.190.144
192.168.190.145
192.168.190.146
192.168.190.147
192.168.190.148
192.168.190.149
192.168.190.150
192.168.190.151
在server服务器端，手动添加桥接网卡和NAT方式网卡
192.168.190.230
192.168.190.240
10.95.20.250
要求测试端和服务器端彼此双方都是可以ping通。
网络四元组/网络五元组
四元组是指的是
{源IP地址，源端口，目的IP地址，目的端口}
五元组指的是（多了协议）
{源IP地址，目的IP地址，协议号，源端口，目的端口}
一个TCP连接的套接字对(socket pari)是一个定义该连接的两个端点的四元组，即本地IP地址、本地TCP端口号、外地IP地址、外地TCP端口号。套接字对唯一标识一个网络上的每个TCP连接。
......
标识每个端点的两个值（IP地址和端口号）通常称为一个套接字。
以下以四元组为准。在测试端四元组可以这样认为：
{本机IP地址，本机端口，目的IP地址，目的端口}
请求的IP地址和目的端口基本上是固定的，不会变化，那么只能从本机IP地址和本机端口上考虑，端口的范围一旦指定了，那么增加IP地址，可以增加对外发出的请求数量。假设系统可以使用的端口范围已经如上所设，那么可以使用的大致端口为64000个，系统添加了10个IP地址，那么可以对外发出的数量为 64000 * 10 = 640000，数量很可观。
只有{源IP地址，源端口}确定对外TCP请求数量
经测试，四元组里面，只有{源IP地址，源端口}才能够确定对外发出请求的数量，跟{目的IP地址，目的端口}无关。
测试环境
在server端，并且启动./server两次，分别绑定8000端口和9000端口
./server -p 8000
./server -p 9000
本机IP、端口绑定测试程序
这里写一个简单的测试绑定本机IP地址和指定端口的客户端测试程序。
可以看到libevent-*/include/event2/http.h内置了对绑定本地IP地址的支持：
/** sets the ip address from which http connections are made */
void evhttp_connection_set_local_address(struct evhttp_connection *evcon,
const char *address);
不用担心端口，系统自动自动随机挑选，除非需要特别指定：
/** sets the local port from which http connections are made */
void evhttp_connection_set_local_port(struct evhttp_connection *evcon,
ev_uint16_t port);
编译
gcc -o client3 client3.c -levent
client3运行参数为
- -h 远程主机IP地址
- -p 远程主机端口
- -c 本机指定的IP地址(必须可用)
- -o 本机指定的端口(必须可用)
测试用例，本机指定同样的IP地址和端口，但远程主机和IP不一样.
在一个测试端打开一个终端窗口1，切换到 client3对应位置
./client3 -h 192.168.190.230 -p 8000 -c 192.168.190.148 -o 4000
输出为
remote host is 192.168.190.230
remote port is 8000
local ip is 192.168.190.148
local port is 4000
>Chunks: 1 Bytes: 505
再打开一个测试端终端窗口2，执行：
./client3 -h 192.168.190.240 -p 9000 -c 192.168.190.148 -o 4000
窗口2程序，无法执行，自动退出。
接着在窗口2终端继续输入：
./client3 -h 192.168.190.230 -p 8000 -c 192.168.190.148 -o 4001
注意，和窗口1相比，仅仅改变了端口号为4001。但执行结果，和端口1输出一模一样，在等待接收数据，没有自动退出。
剩下的，无论怎么组合，怎么折腾，只要一对{本机IP,本机端口}被占用,也就意味着对应一个具体的文件句柄，那么其它程序将不能够再次使用。
Java怎么绑定本地IP地址？
java绑定就很简单，但有些限制，不够灵活，单纯从源码中看不出来，api doc可以告诉我们一些事情。 打开JDKAPI1_6zhCN.CHM，查看InetSocketAddress类的构造函数说明：
public InetSocketAddress(InetAddress addr, int port)
根据 IP 地址和端口号创建套接字地址。 有效端口值介于 0 和 65535 之间。端口号 zero 允许系统在 bind 操作中挑选暂时的端口。null 地址将分配通配符 地址。
参数：
addr - IP 地址
port - 端口号
抛出：
IllegalArgumentException - 如果 port 参数超出有效端口值的指定范围。
public InetSocketAddress(String hostname, int port)
根据主机名和端口号创建套接字地址。
尝试将主机名解析为 InetAddress。如果尝试失败，则将地址标记为未解析。如果存在安全管理器，则将主机名用作参数调用其 checkConnect 方法，以检查解析它的权限。这可能会导致 SecurityException 异常。
有效端口值介于 0 和 65535 之间。端口号 zero 允许系统在 bind 操作中挑选暂时的端口。
参数： hostname - 主机名
port - 端口号
抛出：
IllegalArgumentException - 如果 port 参数超出有效端口值的范围，或者主机名参数为 null。
SecurityException - 如果存在安全管理器，但拒绝解析主机名的权限。
另请参见：
isUnresolved()
InetSocketAddress的两个构造函数都支持，看情况使用。注意int port传递值为0，即可做到系统随机挑选端口。追踪一下源代码，发现最终调用
private native void socketBind(InetAddress address, int port) throws IOException;
如何查看socketBind的原始C代码，我就不清楚了，您若知晓，希望指教一下。 构造一个InetSocketAddress对象：
SocketAddress localSocketAddr = new InetSocketAddress("192.168.190.143", 0);
然后传递给需要位置即可。诸如使用netty连接到某个服务器上，在connect时指定远方地址，以及本机地址
ChannelFuture connect(SocketAddress remoteAddress, SocketAddress localAddress) Attempts a new connection with the specified remoteAddress and the specified localAddress.
Netty 客户端连接API见： <ahref="http: docs.jboss.="" org="" netty="" 3.="" 2="" api="" jboss="" bootstrap="" clientbootstrap.html"="">http://docs.jboss.org/netty/3.2/api/org/jboss/netty/bootstrap/ClientBootstrap.html
Linux支持绑定本机IP、端口原理
说是原理，有些牵强，因为linux C提供了如何绑定函数，框架或者高级语言再怎么封装，在linux平台下面，需要这么调用：
struct sockaddr_in clnt_addr;
....
clnt_addr.sin_family = AF_INET;
clnt_addr.sin_addr.s_addr = INADDR_ANY; //绑定本机IP地址
clnt_addr.sin_port = htons(33333); //绑定本机端口
if (bind(sockfd, (struct sockaddr *) &clnt_addr,
sizeof(clnt_addr)) < 0) error("ERROR on binding");
if (connect(sockfd,(struct sockaddr *) &serv_addr,sizeof(serv_addr)) < 0) error("ERROR connecting");
.......
构造一个clnt_addr结构体，本地IP或者端口赋值，在connect之前，先bind，就这么简单。
有关端口的问题，到此为止，下一篇，回到测试。
http://blog.himdd.com/archives/3301
linux文件打开数(fd)总结
- 分享到：
网络上关于这方面的文件比较少,都是抄来抄去,一般也就是下面这个网址中所提及的内容:
http://www.diybl.com/course/6_system/linux/Linuxjs/20090303/156983.html
更系统一点的可能就是这篇文章:
http://www.51testing.com/?uid-13956-action-viewspace-itemid-209988
后一篇文章比较详细,也提及了一些重点, 本文中的许多点与此文相关.
在修改linux文件打开数限制一般会涉及三个方面:
- ulimit命令
- /etc/security/limits.conf文件
- /proc/sys/fs/file-nr, /proc/sys/fs/file-max
下面就每一个方面作出说明
1. ulimit命令
这个命令是bash shell内建命令, 也就是说这个命令依赖于特定的shell, bash shell支持这个命令.
这个命令的作用可以查看官方man文档(man ulimit)
Provides control over the resources available to the shell and to processes started by it, on systems that allow such control. The -H and -S options specify that the hard or soft limit is set for the given resource. A hard limit cannot be increased once it is set; a soft limit may be increased up to the value of the hard limit. If neither -H nor -S is specified, both the soft and hard limits are set. The value of limit can be a number in the unit specified for the resource or one of the special values hard, soft, or unlimited, which stand for the current hard limit, the current soft limit, and no limit, respectively. If limit is omitted, the current value of the soft limit of the resource is printed, unless the -H option is given. When more than one resource is specified, the limit name and unit are printed before the value.
后面还省略了一些内容.
意思是说ulimit在系统允许的情况下, 提供对特定shell可利用的资源的控制. -H和-S选项设定指定资源的硬限制和软限制. 硬限制设定之后不能再增加, 而软限制则可以增加到硬限制规定的值.如果-H和-S选项都没有指定, 则软限制和硬限制同时设定. 限制值可以是指定资源的数值或者hard,soft,unlimited这些特殊值, 其中hard代表当前硬限制, soft代表当前软件限制, unlimited代表不限制. 如果不指定限制值, 则打印指定资源的软限制值, 除非指定了-H选项.如果指定了不只一种资源, 则限制名和单位都会在限制值前显示出来.
其中第一句非常重要,那就是ulimit提供的是对特定shell可利用的资源的控制, 而shell是与具体用户相关的. 因此ulimit提供的是对单个用户的限制. 其中包括以下项: (ulimit -a输出结果)
core file size (blocks, -c) 0 data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 4096 max locked memory (kbytes, -l) 32 max memory size (kbytes, -m) unlimited open files (-n) 1024 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 10240 cpu time (seconds, -t) unlimited max user processes (-u) 4096 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited
其中就有个”open files “的限制, 默认是1024, 也就是这个用户最大可以打开1024个文件
如果使用ulimit -n修改最大文件打开数, 那么只对当前shell用户有用, 同时也只对当前shell和这个shell fork出来的子shell生效, 重启之后会重新恢复为默认值.
修改这个值如果要在重启后也生效, 一般在启动过程时运行的文件(/etc/rc.local, /etc/profile, /etc/bash_profile等等)中加上ulimit命令
2. /etc/security/limits.conf文件
这个文件是在/etc/security/目录下, 因此这个文件其实是出于安全考虑的,请看:
http://tldp.org/LDP/solrhe/Securing-Optimizing-Linux-RH-Edition-v1.3/chap5sec44.html 所提:
The limits.conf file located under the /etc/securitydirectory can be used to control and limit resources for the users on your system. It is important to set resource limits on all your users so they can't perform denial of service attacks number of processes, amount of memory, etc). These limits will have to be set up for the user when he or she logs in. For example, limits for all users on your system might look like this.
* hard core 0
* hard rss 5000
* hard nproc 20
(注意这段话在Securing and Optimizing Linux: RedHat Edition -A Hands on Guide一书中的Chapter 5. General System Security中的5.15. Put limits on resource)
意思是位于/etc/security目录下的limits.conf文件是用于提供对系统中的用户所使用的资源进行控制和限制. 对所有用户的资源设定限制是非常重要的, 这可以防止用户发起针对处理器和内存数量等的拒绝服务攻击. 这些限制必须在用户登录时限制. 举例来说, 针对所有用户的限制可以像这样:
* hard core 0
* hard rss 5000
* hard nproc 20
其中含义如下:
- 第一列表示域(domain),可以使用用户名(root等),组名(以@开头,如@administrator),通配置*和%,%可以用于%group参数
- 第二列表示类型(type),值可以是soft或者hard
- 第三列表示项目(item),值可以是core,data,fsize,memlock,nofile,rss,stack,cpu,nproc,as,maxlogins,maxsyslogins,priority,locks,msgqueue,nie,rtprio.
- 第四列表示值.
其中nofile(Number of Open File)就是文件打开数.
limits.conf与ulimit的区别就在于前者是针对所有用户的, 而且在任何shell都是生效的, 即与shell无关,而后者只是针对特定用户的当前shell的设定. 因此定义资源限制,而文件打开数只是其中一种资源,最好在limits.conf中定义.
3./proc/sys/fs/file-nr, /proc/sys/fs/file-max
file-nr和file-max文件可以使用cat命令查看, file-nr有三个值, 每个值的说明见:
其中有一段内容如下(指file-nr):
The three values in file-nr denote the number of allocated file handles, the number of used file handles, and the maximum number of file handles. When the allocated file handles come close to the maximum, but the number of actually used handles is far behind, you've encountered a peak in your usage of file handles and you don't need to increase the maximum.
意思是指:
- 第一个值代表已分配的文件句柄
- 第二个值代表已使用的文件句柄
- 第三个值代表文件句柄的最大值.
当分配的文件句柄接近于最大值时,也就是第一个值逼近第三个值时,而实际使用的文件句柄则远远落后于最大值, 那么你只是遇到一个文件句柄的使用高峰, 此时并不需要增大文件句柄的最大值。
关于这三个值的更详细说明没有找到, 如果哪位高人能通过分析代码得到进一步的信息, 恳请发个邮件给我.
首先来关注file-max这个值, 我在内存为2560M(虚拟机)时,这个值显示为251544, 将内存改为1280M时,这个值显示为123851, 而我并没用任何其它系统参数.
这说明这个值是个运行时值, 是与某些参数相关的, 其中一个就是内存.
下面这些内容只是猜测:
file-max是定义系统全局的文件数, 也就是所有用户所能使用的一个最大值.file-max具体是如何计算出来的,暂且不知.
有的文章说通来统计lsof命令输出的行数来作为当前打开文件数, 这个是太不正确了,因为lsof的内容包括文件,sockets,设备(device),这种统计根本无太大价值.
而且也可以看到lsof的统计数值与file-nr中的第一个值相差巨大,根本无法比较.
我们再来看一篇文章,是oracle 9i安装文档: http://tldp.org/HOWTO/Oracle-9i-Fedora-3-Install-HOWTO/sect_05.html,内容:
5.1. Edit /etc/sysctl.conf
Add the following lines to the /etc/sysctl.conf file:
| kernel.shmmax = 2147483648 kernel.shmmni = 128 kernel.shmall = 2097152 kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 |
5.2. Edit /etc/security/limits.conf
Additionally the following lines can be added to the /etc/security/limits.conf file:
| oracle soft nofile 65536 oracle hard nofile 65536 oracle soft nproc 16384 oracle hard nproc 16384 |
Adding lines into these files requires a reboot before the new settings take effect.
这里同时修改了file-max的值和limits.conf的值.并且提示修改了limits.conf需要重启才能生效.
linux文件打开数总结
总的来说,在修改最大文件打开数时,最好使用limits.conf文件来修改, 通过这个文件, 可以定义用户, 资源类型, 软硬限制, 且与shell无关, 比ulimit命令要好很多.而针对file-nr和file-max文件, 个人认为不需要修改, 因为如果人为修改, 而修改的值改得太大, 使用过程中内存不够使用, 其实也是没多大作用.
文件描述符是一个简单的整数，用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0，第二个是1，依此类推。Unix操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是，unix通常有一个系统级的限制。在UNIX/Linux平台上，对于控制台(Console)的标准输入（0），标准输出（1），标准错误（2）输出也对应了三个文件描述符。
对于squid，因为squid 的工作方式，文件描述符的限制可能会极大的影响性能。当squid 用完所有的文件描述符后，它不能接收用户新的连接。也就是说，用完文件描述符导致拒绝服务。直到一部分当前请求完成，相应的文件和socket 被关闭，squid不能接收新请求。当squid发现文件描述符短缺时，它会发布警告。
对于Apache，当使用了很多虚拟主机，而每个主机又使用了不同的日志文件时，Apache可能会遭遇耗尽文件描述符（有时也称为file handles）的困境。 Apache使用的文件描述符总数如下：每个不同的错误日志文件一个、 每个其他日志文件指令一个、再加10～20个作为内部使用。Unix操作系统限制了每个进程可以使用的文件描述符数量。典型上限是64个，但可以进行扩充，直至到达一个很大的硬限制为止（a large hard-limit）。
linux下最大文件描述符的限制有两个方面，一个是用户级的限制，另外一个则是系统级限制。
以下是查看Linux文件描述符的三种方式：
[root@localhost ~]# sysctl -a | grep -i file-max --color
fs.file-max = 392036
[root@localhost ~]# cat /proc/sys/fs/file-max
392036
[root@localhost ~]# ulimit -n
1024
[root@localhost ~]#
系统级限制：sysctl命令和proc文件系统中查看到的数值是一样的，这属于系统级限制，它是限制所有用户打开文件描述符的总和
用户级限制：ulimit命令看到的是用户级的最大文件描述符限制，也就是说每一个用户登录后执行的程序占用文件描述符的总数不能超过这个限制
如何修改文件描述符的值？
1、修改用户级限制
[root@localhost ~]# ulimit-SHn 10240
[root@localhost ~]# ulimit -n
10240
[root@localhost ~]#
以上的修改只对当前会话起作用，是临时性的，如果需要永久修改，则要修改如下：
[root@localhost ~]# grep -vE'^$|^#' /etc/security/limits.conf
* hard nofile 4096
[root@localhost ~]#
//默认配置文件中只有hard选项，soft 指的是当前系统生效的设置值，hard 表明系统中所能设定的最大值
[root@localhost ~]# grep -vE'^$|^#' /etc/security/limits.conf
* hard nofile 10240
* soft nofile 10240
[root@localhost ~]#
// soft<=hard soft的限制不能比hard限制高
2、修改系统限制
[root@localhost ~]# sysctl -wfs.file-max=400000
fs.file-max = 400000
[root@localhost ~]# echo350000 > /proc/sys/fs/file-max //重启后失效
[root@localhost ~]# cat /proc/sys/fs/file-max
350000
[root@localhost ~]#
//以上是临时修改文件描述符
//永久修改把fs.file-max=400000添加到/etc/sysctl.conf中，使用sysctl -p即可
|
下面是摘自kernel document中关于file-max和file-nr参数的说明 file-max & file-nr:
The kernel allocates file handles dynamically, but as yet it doesn't free them again. 内核可以动态的分配文件句柄，但到目前为止是不会释放它们的
The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate. When you get lots of error messages about running out of file handles, you might want to increase this limit. file-max的值是linux内核可以分配的最大文件句柄数。如果你看到了很多关于打开文件数已经达到了最大值的错误信息，你可以试着增加该值的限制
Historically, the three values in file-nr denoted the number of allocated file handles, the number of allocated but unused file handles, and the maximum number of file handles. Linux 2.6 always reports 0 as the number of free file handles -- this is not an error, it just means that the number of allocated file handles exactly matches the number of used file handles. 在kernel 2.6之前的版本中，file-nr 中的值由三部分组成，分别为：1.已经分配的文件句柄数，2.已经分配单没有使用的文件句柄数，3.最大文件句柄数。但在kernel 2.6版本中第二项的值总为0，这并不是一个错误，它实际上意味着已经分配的文件句柄无一浪费的都已经被使用了 |
参考文档：维基百科 http://salogs.com/
http://qingwang.blog.51cto.com/505009/579064
通常我们通过终端连接到linux系统后执行ulimit -n 命令可以看到本次登录的session其文件描述符的限制，如下：
$ulimit -n
1024
当然可以通过ulimit -SHn 102400 命令来修改该限制，但这个变更只对当前的session有效，当断开连接重新连接后更改就失效了。
如果想永久变更需要修改/etc/security/limits.conf 文件，如下：
vi /etc/security/limits.conf
* hard nofile 102400
* soft nofile 102400
保存退出后重新登录，其最大文件描述符已经被永久更改了。
这只是修改用户级的最大文件描述符限制，也就是说每一个用户登录后执行的程序占用文件描述符的总数不能超过这个限制。
系统级的限制
它是限制所有用户打开文件描述符的总和，可以通过修改内核参数来更改该限制：
sysctl -w fs.file-max=102400
使用sysctl命令更改也是临时的，如果想永久更改需要在/etc/sysctl.conf添加
fs.file-max=102400
保存退出后使用sysctl -p 命令使其生效。
与file-max参数相对应的还有file-nr，这个参数是只读的，可以查看当前文件描述符的使用情况。
直接修改内核参数，无须重启系统。sysctl -w fs.file-max 65536
或者echo "65536" > /proc/sys/fs/file-max
两者作用是相同的，前者改内核参数，后者直接作用于内核参数在虚拟文件系统（procfs, psuedo file system）上对应的文件而已。
可以用下面的命令查看新的限制sysctl -a | grep fs.file-max
或者cat /proc/sys/fs/file-max
修改内核参数
/etc/sysctl.confecho "fs.file-max=65536" >> /etc/sysctl.conf
sysctl -p
查看当前file handles使用情况：
sysctl -a | grep fs.file-nr
或者
cat /proc/sys/fs/file-nr
825 0 65536
另外一个命令：lsof | wc -l
下面是摘自kernel document中关于file-max和file-nr参数的说明
- file-max & file-nr:
- The kernel allocates file handles dynamically, but as yet it doesn't free them again.
- 内核可以动态的分配文件句柄，但到目前为止是不会释放它们的
- The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate. When you get lots of error messages about running out of file handles, you might want to increase this limit.
- file-max的值是linux内核可以分配的最大文件句柄数。如果你看到了很多关于打开文件数已经达到了最大值的错误信息，你可以试着增加该值的限制
- Historically, the three values in file-nr denoted the number of allocated file handles, the number of allocated but unused file handles, and the maximum number of file handles. Linux 2.6 always reports 0 as the number of free file handles -- this is not an error, it just means that the number of allocated file handles exactly matches the number of used file handles.
- 在kernel 2.6之前的版本中，file-nr 中的值由三部分组成，分别为：1.已经分配的文件句柄数，2.已经分配单没有使用的文件句柄数，3.最大文件句柄数。但在kernel 2.6版本中第二项的值总为0，这并不是一个错误，它实际上意味着已经分配的文件句柄无一浪费的都已经被使用了
运行在Linux系统上的Java程序运行了一段时间后出现"Too many open files"的异常情况。
这种情况常见于高并发访问文件系统，多线程网络连接等场景。程序经常访问的文件、socket在Linux中都是文件file，系统需要记录每个当前访问file的name、location、access authority等相关信息，这样的一个实体被称为file entry。“open files table”(图中橙色标识)存储这些file entry，以数组的形式线性管理。文件描述符(file descriptor)作为进程到open files table的指针，也就是open files table的下标索引，将每个进程与它所访问的文件关联起来了。
每个进程中都有一个file descriptor table管理当前进程所访问(open or create)的所有文件，文件描述符关联着open files table中文件的file entry。细节不表，对于open files table能容纳多少file entry。Linux系统配置open files table的文件限制，如果超过配置值，就会拒绝其它文件操作的请求，并抛出Too many open files异常。这种限制有系统级和用户级之分。
系统级：
系统级设置对所有用户有效。可通过两种方式查看系统最大文件限制
1 cat /proc/sys/fs/file-max
2 sysctl -a 查看结果中fs.file-max这项的配置数量
如果需要增加配置数量就修改/etc/sysctl.conf文件，配置fs.file-max属性，如果属性不存在就添加。
配置完成后使用sysctl -p来通知系统启用这项配置
用户级：
Linux限制每个登录用户的可连接文件数。可通过 ulimit -n来查看当前有效设置。如果想修改这个值就使用 ulimit -n 命令。
对于文件描述符增加的比例，资料推荐是以2的幂次为参考。如当前文件描述符数量是1024，可增加到2048，如果不够，可设置到4096，依此类推。
在出现Too many open files问题后，首先得找出主要原因。最大的可能是打开的文件或是socket没有正常关闭。为了定位问题是否由Java进程引起，通过Java进程号查看当前进程占用文件描述符情况：
lsof -p $java_pid 每个文件描述符的具体属性
lsof -p $java_pid | wc -l 当前Java进程file descriptor table中FD的总量
分析命令的结果，可判断问题是否由非正常释放资源所引起。
如果我们只是普通用户，只是暂时的修改ulimit -n，可以直接shell命令来修改(ulimit -n 1024000)。但是这个设置时暂时的保留!当我们退出bash后，该值恢复原值。
如果要永久修改ulimit，需要修改/etc/security/limits.conf。
vim /etc/security/limits.conf
# 添加如下的行
* soft nofile 2048
* hard nofile 2048
以下是说明：
* 代表针对所有用户
noproc 是代表最大进程数
nofile 是代表最大文件打开数
添加格式：
[username | @groupname] type resource limit
[username | @groupname]：设置需要被限制的用户名，组名前面加@和用户名区别。也可以用通配符*来做所有用户的限制。
type：有 soft，hard 和 -，soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的限制不能比hard 限制高。用 - 就表明同时设置了 soft 和 hard 的值。
resource：
core - 限制内核文件的大小(kb)
date - 最大数据大小(kb)
fsize - 最大文件大小(kb)
memlock - 最大锁定内存地址空间(kb)
nofile - 打开文件的最大数目
rss - 最大持久设置大小(kb)
stack - 最大栈大小(kb)
cpu - 以分钟为单位的最多 CPU 时间
noproc - 进程的最大数目
as - 地址空间限制
maxlogins - 此用户允许登录的最大数目
实例：
username soft nofile 2048
username hard nofile 2048
@groupname soft nofile 2048
@groupname hard nofile 2048
http://my.oschina.net/aiguozhe/blog/36283
在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。一般默认值为1024。
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：
|
1
|
lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more |
执行上述的脚本可能出现如下的结果：
|
1
2
3
4
|
131 24204 57 24244 57 24231 56 24264 |
其中，第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。
|
1
2
3
|
ps -aef|grep 24204 mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld |
哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。
但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制之分。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令(某些系统不允许普通用户修改ulimit的软/硬限制)：
|
1
|
ulimit -HSn 4096 |
以上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，在/etc/security/limits.conf文件中设置最大打开文件数
|
1
2
|
* hard nofile 2048* soft nofile 2048 |
或者
|
1
|
* - nofile 2048 |
这行设置了每个用户的默认打开文件数为2048。 注意"nofile"项有两个可能的限制措施, 就是hard和soft。 要使修改过的最大打开文件数生效，必须对这两种限制进行设定。 如果使用减号字符(-)设定定, 则hard和soft设定会同时被设定。重启生效。
硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低， 但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。
当增加文件限制描述，可以简单的把当前值双倍。 例子如下， 如果你要提高默认值1024， 最好提高到2048， 如果还要继续增加， 就需要设置成4096。
浙公网安备 33010602011771号