RPS和RFSRPS 全称是 Receive Packet Steering, 这是Google工程师 Tom Herbert (therbert@google.com )提交的内核补丁, 在2.6.35进入Linux内核. 这个patch采用软件模拟的方式，实现了多队列网卡所提供的功能，分散了在多CPU系统上数据接收时的负载, 把软中断分到各个CPU处理，而不需要硬件支持，大大提高了网络性能。RFS 全称是 Receive Flow Steering, 这也是Tom提交的内核补丁，它是用来配合RPS补丁使用的，是RPS补丁的扩展补丁，它把接收的数据包送达应用所在的CPU上，提高cache的命中率。这两个补丁往往都是一起设置，来达到最好的优化效果, 主要是针对单队列网卡多CPU环境(多队列多重中断的网卡也可以使用该补丁的功能，但多队列多重中断网卡有更好的选择:SMP IRQ affinity)原理RPS: RPS实现了数据流的hash归类，并把软中断的负载均衡分到各个cpu，实现了类似多队列网卡的功能。由于RPS只是单纯的把同一流的数据包分发给同一个CPU核来处理了，但是有可能出现这样的情况，即给该数据流分发的CPU核和执行处理该数据流的应用程序的CPU核不是同一个：数据包均衡到不同的cpu，这个时候如果应用程序所在的cpu和软中断处理的cpu不是同一个，此时对于cpu cache的影响会很大。那么RFS补丁就是用来确保应用程序处理的cpu跟软中断处理的cpu是同一个，这样就充分利用cpu的cache。应用RPS之前: 所有数据流被分到某个CPU, 多CPU没有被合理利用， 造成瓶颈
应用RPS之后: 同一流的数据包被分到同个CPU核来处理，但可能出现cpu cache迁跃
应用RPS+RFS之后: 同一流的数据包被分到应用所在的CPU核
必要条件
使用RPS和RFS功能，需要有大于等于2.6.35版本的Linux kernel.
如何判断内核版本?
$ uname -r2.6.38-2-686-bigmem
对比测试
型号BladeCenter HS23pBladeCenter HS23pCPUXeon E5-2609Xeon E5-2630网卡Broadcom NetXtreme II BCM5709S Gigabit EthernetEmulex Corporation OneConnect 10Gb NIC内核3.2.0-2-amd643.2.0-2-amd64内存62GB66GB系统Debian 6.0.4Debian 6.0.5超线程否是CPU核46驱动bnx2be2net
客户端: netperf服务端: netserverRPS cpu bitmap测试分类: 0(不开启rps功能), one cpu per queue(每队列绑定到1个CPU核上), all cpus per queue(每队列绑定到所有cpu核上), 不同分类的设置值如下
- 0(不开启rps功能)
/sys/class/net/eth0/queues/rx-0/rps_cpus 00000000/sys/class/net/eth0/queues/rx-1/rps_cpus 00000000/sys/class/net/eth0/queues/rx-2/rps_cpus 00000000/sys/class/net/eth0/queues/rx-3/rps_cpus 00000000/sys/class/net/eth0/queues/rx-4/rps_cpus 00000000/sys/class/net/eth0/queues/rx-5/rps_cpus 00000000/sys/class/net/eth0/queues/rx-6/rps_cpus 00000000/sys/class/net/eth0/queues/rx-7/rps_cpus 00000000/sys/class/net/eth0/queues/rx-0/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-1/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-2/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-3/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-4/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-5/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-6/rps_flow_cnt 0/sys/class/net/eth0/queues/rx-7/rps_flow_cnt 0/proc/sys/net/core/rps_sock_flow_entries 0
one cpu per queue(每队列绑定到1个CPU核上)
/sys/class/net/eth0/queues/rx-0/rps_cpus 00000001/sys/class/net/eth0/queues/rx-1/rps_cpus 00000002/sys/class/net/eth0/queues/rx-2/rps_cpus 00000004/sys/class/net/eth0/queues/rx-3/rps_cpus 00000008/sys/class/net/eth0/queues/rx-4/rps_cpus 00000010/sys/class/net/eth0/queues/rx-5/rps_cpus 00000020/sys/class/net/eth0/queues/rx-6/rps_cpus 00000040/sys/class/net/eth0/queues/rx-7/rps_cpus 00000080/sys/class/net/eth0/queues/rx-0/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-1/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-2/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-3/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-4/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-5/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-6/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-7/rps_flow_cnt 4096/proc/sys/net/core/rps_sock_flow_entries 32768
all cpus per queue(每队列绑定到所有cpu核上)
/sys/class/net/eth0/queues/rx-0/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-1/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-2/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-3/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-4/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-5/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-6/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-7/rps_cpus 000000ff/sys/class/net/eth0/queues/rx-0/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-1/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-2/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-3/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-4/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-5/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-6/rps_flow_cnt 4096/sys/class/net/eth0/queues/rx-7/rps_flow_cnt 4096/proc/sys/net/core/rps_sock_flow_entries 32768
测试方法: 每种测试类型执行3次，中间睡眠10秒, 每种测试类型分别执行100、500、1500个实例， 每实例测试时间长度为60秒
TCP_RR 1 byte: 测试TCP 小数据包 request/response的性能
netperf -t TCP_RR -H $serverip -c -C -l 60
UDP_RR 1 byte: 测试UDP 小数据包 request/response的性能
netperf -t UDP_RR -H $serverip -c -C -l 60
TCP_RR 256 byte: 测试TCP 大数据包 request/response的性能
netperf -t TCP_RR -H $serverip -c -C -l 60---r256,256
UDP_RR 256 byte: 测试UDP 大数据包 request/response的性能
netperf -t UDP_RR -H $serverip -c -C -l 60---r256,256
TPS测试结果TCP_RR 1 byte小包测试结果
TCP_RR 256 byte大包测试结果
UDP_RR 1 byte小包测试结果
UDP_RR 256 byte大包测试结果
CPU负载变化
在测试过程中，使用mpstat收集各个CPU核的负载变化
- 关闭RPS/RFS: 可以看出关闭RPS/RFS时，软中断的负载都在cpu0上，并没有有效的利用多CPU的特性，导致了性能瓶颈
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idleAverage: all 3.650.0035.750.050.0114.560.000.0045.98Average:00.000.000.000.000.00100.000.000.000.00Average:14.430.0037.760.000.1111.490.000.0046.20Average:25.010.0045.800.000.000.000.000.0049.19Average:35.110.0045.070.000.000.000.000.0049.82Average:43.520.0040.380.140.000.000.000.0055.96Average:53.850.0039.910.000.000.000.000.0056.24Average:63.620.0040.480.140.000.000.000.0055.76Average:73.870.0038.860.110.000.000.000.0057.16
每队列关联到一个CPU TCP_RR: 可以看出软中断负载已经能分散到各个CPU核上，有效利用了多CPU的特性，大大提高了系统的网络性能
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idleAverage: all 5.580.0059.840.010.0022.710.000.0011.86Average:02.160.0020.850.000.0472.030.000.004.93Average:14.680.0046.270.000.0042.730.000.006.32Average:26.760.0063.790.000.0011.030.000.0018.42Average:36.610.0065.710.000.0011.510.000.0016.17Average:45.940.0067.830.070.0011.590.000.0014.58Average:55.990.0069.420.040.0012.540.000.0012.01Average:65.940.0069.410.000.0012.860.000.0011.78Average:76.130.0069.610.000.0014.480.000.009.77
每队列关联到一个CPU UDP_RR: CPU负载未能均衡的分布到各个CPU, 这是由于网卡hash计算在UDP包上的不足， 详细请见本文后记部分
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idleAverage: all 3.010.0029.840.070.0113.350.000.0053.71Average:00.000.000.080.000.0090.010.000.009.91Average:13.820.0032.870.000.0512.810.000.0050.46Average:24.840.0037.530.000.000.140.000.0057.49Average:34.900.0037.920.000.000.160.000.0057.02Average:42.570.0032.720.200.000.090.000.0064.42Average:52.660.0033.540.110.000.080.000.0063.60Average:62.750.0032.810.090.000.060.000.0064.30Average:72.710.0032.660.170.000.060.000.0064.40
每队列关联到所有CPU: 可以看出软中断负载已经能分散到各个CPU核上，有效利用了多CPU的特性，大大提高了系统的网络性能
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idleAverage: all 5.390.0059.970.000.0022.570.000.0012.06Average:01.460.0021.830.040.0072.080.000.004.59Average:14.450.0046.400.000.0443.390.000.005.72Average:26.840.0065.620.000.0011.390.000.0016.15Average:36.710.0067.130.000.0012.070.000.0014.09Average:45.730.0066.970.000.0010.710.000.0016.58Average:55.740.0068.570.000.0013.020.000.0012.67Average:65.790.0069.270.000.0012.310.000.0012.63Average:75.960.0068.980.000.0012.000.000.0013.06
结果分析
以下结果只是针对测试服务器特定硬件及系统的数据，在不同测试对象的RPS/RFS测试结果可能有不同的表现TCP性能:
在没有打开RPS/RFS的情况下，随着进程数的增加，TCP tps性能并明显没有提升，在184~188k之间。打开RPS/RFS之后，随着RPS导致软中断被分配到所有CPU上和RFS增加的cache命中, 小数据包(1字节)及大数据包(256字节，相对小数据包而言, 而不是实际应用中的大数据包)的tps性能都有显著提升100个进程提升40%的性能(两种RPS/RFS设置的性能结果一致), cpu负载升高40%500个进程提升70%的性能(两种RPS/RFS设置的性能结果一致), cpu负载升高62%1500个进程提升75%的性能(两种RPS/RFS设置的性能结果一致), cpu负载升高77%
UDP性能:
在没有打开RPS/RFS的情况下，随着进程数的增加，UDP tps性能并明显没有提升，在226~235k之间。打开RPS/RFS之后，，随着RPS导致软中断被分配到所有CPU上和RFS增加的cache命中, 小数据包(1字节)及大数据包(256字节，相对小数据包而言, 而不是实际应用中的大数据包)的TPS性能, 在每队列关联到所有CPU的情况下有显著提升, 而每队列关联到一个CPU后反倒是导致了UDP tps性能下降1% (这是bnx2网卡不支持UDP port hash及此次测试的局限性造成的结果, 详细分析见: 后记)每队列关联到所有CPU的情况下, 在100个进程时小包提升40%的性能, cpu负载升高60%; 大包提升33%, cpu负载升高47%每队列关联到所有CPU的情况下, 在500个进程提小包提升62%的性能, cpu负载升高71%; 大包提升60%, cpu负载升高65%每队列关联到所有CPU的情况下, 在1500个进程提升65%的性能, cpu负载升高75%； 大包提升64%, cpu负载升高74%后记
UDP在每队列绑定到一个CPU时性能下降，而绑定到所有CPU时，却有性能提升，这一问题涉及到几个因素，当这几个因素凑一起时，导致了这种奇特的表现。
此次测试的局限性：本次测试是1对1的网络测试，产生的数据包的IP地址都是相同的bnx2网卡在RSS hash上，不支持UDP Port，也就是说，网卡在对TCP数据流进行队列选择时的hash包含了ip和port, 而在UDP上的hash, 只有IP地址，导致了本次测试(上面的局限性影响)的UDP数据包的hash结果都是一样的，数据包被转送到同一条队列。单单上面两个因素，还无法表现出UDP在每队列绑定到一个CPU时性能下降，而绑定到所有CPU时，却有性能提升的现象。 因为RPS/RFS本身也有hash计算，也就是进入队列后的数据包，还需要经过RPS/RFS的hash计算(这里的hash支持udp port), 然后进行第二次数据包转送选择；如果每队列绑定到一个CPU, 系统直接跳过第二次hash计算，数据包直接分配到该队列关联的CPU处理，也就导致了在第一次hash计算后被错误转送到某一队列的UDP数据包，将直接送到cpu处理，导致了性能的下降； 而如果是每队列绑定到所有CPU， 那么进入队列后的数据包会在第二次hash时被重新分配，修正了第一次hash的错误选择。相关对比测试
1. SMP IRQ affinity: http://www.igigo.net/archives/231
参考资料Software receive packet steeringReceive Packet SteeringReceive packet steeringReceive Flow Steeringlinux kernel 2.6.35中RFS特性详解Linux 2.6.35 新增特性 RPS RFSkernel/Documentation/networking/scaling.txt不敢面对自己的不完美，总是担心自己的失败，
