1. 10K并发连接问题

此文是 http://www.kegel.com/c10k.html 的翻译与理解。

已经是WEB服务器解决10K并发连接的时候了，你不这么认为吗？毕竟，WEB是现拥有最大的地盘。

现在的的计算机也大了。1千200美元左右可以买到1G的机器，装有2G的内存与千兆网卡。我们看看，如果有20K客户端，那么每个客户端分得50KHz CPU，100K字节内存，50Kbits/sec的带宽。那就意味着对于20K客户端中的一个不应该花费比每秒从磁盘读取4K字节并发送到网络更多的马力。(这种情况下每个客户端花费8美分。那些每客户端100美元的服务器许可证费用看上去贵了点)。所以，硬件不再是瓶颈。（老外就是细致，这都算的这么清楚!）

在1999年，最忙的一台FTP站点，cdrom.com, 实际上已经通过G比特以太网并发处理了10K的连接。到了2001年,相同的速度的服务已经在几个ISP中提供，它们希望能够为规模不断扩大的商业用户提供服务。

瘦客户端模型的计算模型在形式上又回来了，这时网络上工作的服务器，服务者数以千计的客户。

我们要知道，这里是一些如何配置操作系统以及写代码支持以千计客户端的笔记。讨论集中在类Unix操作系统，那也是我个人感兴趣的领域，但是Windows也有所涉及。

目录

• 10K连接问题
• 相关站点
• 首先该读的书
• I/O框架
• I/O策略
  1. 每一线程的多服务多客户端，使用非阻塞I/O与读触发通知
     • 传统select()方法
     • 传统poll()方法
     • /dev/poll方法(Solaris 2.7+)
     • kqueue方法(FreeBSD, NetBSD)
       
  2. 每一线程的多服务客户端，是用非阻塞I/O与读更改通知
     • epoll(Linux 2.6+)
     • Polyakov's Kevent(Linux 2.6+)
     • Drepper's New Network Interface(proposal for Linux 2.6+)
     • Realtime Signals(Linux 2.4+)
     • Signal-per-fd
     • kqueue(FreeBSD,NetBSD)
  3. 每一线程的多服务器客户端，使用异步I/O与完成通知
  4. 每一服务线程服务一个客户端
     • Linux/Threads(Linux 2.0+)
     • NGPT（Linux 2.4+)
     • NPTL (Linux 2.6, Red Hat 9)
     • FreeBSD threading support
     • NetBSD threading support
     • Solaris threading support
     • Java threading support in JDK 1.3.x and earlier
     • Note: 1:1 threading vs. M:N threading
  5. 建立服务器代码到内核
• 注释
• 打开文件句柄的限制
• 线程限制
• Java问题
• 其它提示
  • 零拷贝
  • sendfile()系统调用可实现零拷贝网络操作
  • 杜绝小侦数据使用writev or TCP CORK
  • 获益于非Posix线称的程序
  • 缓存你的数据有时也会赢得胜利
• 其它限制
• 内核问题
• 测量服务器性能
• 事例
  • 对select()基础的服务器的兴趣
  • 对/dev/poll基础的服务器的兴趣
  • 对kqueue()基础的服务器的兴趣
  • 对实时信号基础的服务器的兴趣
  • 对线称基础的服务器的兴趣
  • 对内核内服务器的兴趣
• 其它感兴趣连接

相关站点

在2003年10月，Felix von Leitner 整理了优秀的关于网络可测量性的网页和介绍，完成了比较多种网络系统调用和操作系统的数据的标键。他报告中的一个观点就是linux 2.6的内核实际上打败了2.4的内核,但是还有很多，许多好的图像将会给开发者们食物用于考虑一段时间！（参看Slashdot的注释，主要关注于是否任何人都会跟随基准提高Felix的结果!

首先阅读的书

如果你还没有读它，就立即出发购买一份. Unix Network Programming：Networking APIs. Sockets and Xit（Volume1），Unix 网络编程, 网络接口，套接字与Xit。 W. Richard Stevens的著作. 他描述了许多I/O策略与写高性能服务器的相关缺陷. 他甚至讨论了 "thundering herd" 问题, 当你度过之后，开始阅读 Jeff Darcy's的高性能服务器设计的笔记.

另外一本可能有所帮助的书籍对于使用者比编写Web服务器的人的更为重要， 建立扩展性网站！

I/O框架

抽象了一些技术的预打包的库是实现了一些I/O框架，它们可以隔离你的代码与服务器，并且使代码更容易移植.

• ACE 重量级的C++ I/O框架,包含了面向对象的一些I/O策略的实现以及其它许多有价值的东西。具体一些 它的Reactor是以OO的方式来处理非阻塞I/O,Proactor是以OO的方式处理异步I/O.
• ASIO 将成为BOOST库成员的C++ I/O框架. 它像是ACE在STL时代的升级.
• libevent Niels Provos的 轻量级的 C I/O框架, 支持kqueue与select, 很快将会支持poll与epoll. 它仅仅是触发, 作者认为，那同时具有好坏两方面. Niels 的处理时间所花时间的漂亮的图像作为了连接数量的功能. 它显示出kqueue 与 sys_epoll很明显获胜.
• 作者自己的轻量级框架(遗憾的是，并不是最新的)
• Pooler 是轻量级的 C++ I/O库,它实现了触发读API，采用了底层的你想要的读操作API(poll, select, /dev/poll kqueue, or sigio). 被不同API性能的比较结果是有价值的，此文档链接的Pooler子类举例说明了不同读操作API的用法
• rn是轻量级的 C I/O操作框架，是作者在Poller之后的另一个尝试. lgpl的版权(所以，方便使用在商业应用中)
• MattWelsh 在2000年4月写的论文. 描述了如何在工作线称与事件驱动技术之间取得平衡在建立可扩展服务器的时候.该论文描述了他的Sandstorm的I/O框架.
• CoryNelson's Sacle! Library 为WIndows提供的异步Socket, 文件，与管道I/O库！

I/O策略