在LINUX中实现流量控制器

Linux从kernel 2.1.105开始支持QOS，不过，需要重新编译内核。运行 make config时将 EXPERIMENTAL　_OPTIONS 设置成 y，并且将 Class Based Queueing (CBQ), Token Bucket Flow,Traffic Shapers 设置为 y ，运行 make dep; make clean; make bzilo，生成新的内核。
在Linux操作系统中流量控制器(TC)主要是在输出端口处建立一个队列进行流量控制，控制的方式是基于路由，亦即基于目的IP地址或目的子网的网络号的流量控制。流量控制器TC，其基本的功能模块为队列、分类和过滤器。Linux内核中支持的队列有，Class Based Queue ，Token Bucket Flow ，CSZ ，First In First Out ，Priority ，TEQL ，SFQ ，ATM ，RED。这里我们讨论的队列与分类都是基于CBQ(Class Based Queue)的，而过滤器是基于路由(Route)的。
　　 配置和使用流量控制器TC，主要分以下几个方面：分别为建立队列、建立分类、建立过滤器和建立路由，另外还需要对现有的队列、分类、过滤器和路由进行监视。
　　 其基本使用步骤为：
　　 1) 针对网络物理设备(如以太网卡eth0)绑定一个CBQ队列；
　　 2) 在该队列上建立分类；
　　 3) 为每一分类建立一个基于路由的过滤器；
　　 4) 最后与过滤器相配合，建立特定的路由表。
先假设一个简单的环境，如下图所示：
流量控制器上的以太网卡(eth0) 的IP地址为192.168.1.66，在其上建立一个CBQ队列。假设包的平均大小为1000字节，包间隔发送单元的大小为8字节，可接收冲突的发送最长包数目为20字节。
　　 假如有三种类型的流量需要控制:
　　 1) 是发往主机1的，其IP地址为192.168.1.24。其流量带宽控制在8Mbit，优先级为2；
　　 2) 是发往主机2的，其IP地址为192.168.1.26。其流量带宽控制在1Mbit，优先级为1；
　　 3) 是发往子网1的，其子网号为192.168.1.0，子网掩码为255.255.255.0。流量带宽控制在1Mbit，优先级为6。
1. 建立队列
　　 一般情况下，针对一个网卡只需建立一个队列。
　　 将一个cbq队列绑定到网络物理设备eth0上，其编号为1:0；网络物理设备eth0的实际带宽为10 Mbit，包的平均大小为1000字节；包间隔发送单元的大小为8字节，最小传输包大小为64字节。
　　 ?tc qdisc add dev eth0 root handle 1: cbq bandwidth 10Mbit avpkt 1000 cell 8 mpu 64
2. 建立分类
　　 分类建立在队列之上。一般情况下，针对一个队列需建立一个根分类，然后再在其上建立子分类。
对于分类，按其分类的编号顺序起作用，编号小的优先；一旦符合某个分类匹配规则，通过该分类发送数据包，则其后的分类不再起作用。
1） 创建根分类1:1；分配带宽为10Mbit，优先级别为8。
?tc class add dev eth0 parent 1:0 classid 1:1 cbq bandwidth 10Mbit rate 10Mbit maxburst20 allot 1514 prio 8 avpkt 1000 cell 8 weight 1Mbit
　　 该队列的最大可用带宽为10Mbit，实际分配的带宽为10Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为8，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为1Mbit。
2）创建分类1:2，其父分类为1:1，分配带宽为8Mbit，优先级别为2。
?tc class add dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 8Mbit maxburst20 allot 1514 prio 2 avpkt 1000 cell 8 weight 800Kbit split 1:0 bounded
　　 该队列的最大可用带宽为10Mbit，实际分配的带宽为 8Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为800Kbit，分类的分离点为1:0，且
不可借用未使用带宽。
3）创建分类1:3，其父分类为1:1，分配带宽为1Mbit，优先级别为1。
?tc class add dev eth0 parent 1:1 classid 1:3 cbq bandwidth 10Mbit rate 1Mbit maxburst 20
allot 1514 prio 1 avpkt 1000 cell 8 weight 100Kbit split 1:0
　　 该队列的最大可用带宽为10Mbit，实际分配的带宽为 1Mbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为2，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。
4）创建分类1:4，其父分类为1:1，分配带宽为1Mbit，优先级别为6。
?tc class add dev eth0 parent 1:1 classid 1:4 cbq bandwidth 10Mbit rate 1Mbit maxburst
20 allot 1514 prio 6 avpkt 1000 cell 8 weight 100Kbit split 1:0
　　 该队列的最大可用带宽为10Mbit，实际分配的带宽为 64Kbit，可接收冲突的发送最长包数目为20字节；最大传输单元加MAC头的大小为1514字节，优先级别为1，包的平均大小为1000字节，包间隔发送单元的大小为8字节，相应于实际带宽的加权速率为100Kbit，分类的分离点为1:0。
3. 建立过滤器
过滤器主要服务于分类。一般只需针对根分类提供一个过滤器，然后为每个子分类提供路由映射。
1） 应用路由分类器到cbq队列的根，父分类编号为1:0；过滤协议为ip，优先级别为100，过滤器为基于路由表。
?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route
2） 建立路由映射分类1:2, 1:3, 1:4
?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 2 flowid 1:2
?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 3 flowid 1:3
?tc filter add dev eth0 parent 1:0 protocol ip prio 100 route to 4 flowid 1:4
4.建立路由
该路由是与前面所建立的路由映射一一对应。
1） 发往主机192.168.1.24的数据包通过分类2转发(分类2的速率8Mbit)
?ip route add 192.168.1.24 dev eth0 via 192.168.1.66 realm 2
2） 发往主机192.168.1.30的数据包通过分类3转发(分类3的速率1Mbit)
?ip route add 192.168.1.30 dev eth0 via 192.168.1.66 realm 3
3）发往子网192.168.1.0/24的数据包通过分类4转发(分类4的速率1Mbit)
?ip route add 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4
　　 注：一般对于流量控制器所直接连接的网段建议使用IP主机地址流量控制限制，不要使用子网流量控制限制。
如一定需要对直连子网使用子网流量控制限制，则在建立该子网的路由映射前，需将原先由系统建立的路由删除，才可完成相应步骤。
5. 监视
　　 主要包括对现有队列、分类、过滤器和路由的状况进行监视。
1）显示队列的状况
简单显示指定设备(这里为eth0)的队列状况
?tc qdisc ls dev eth0
qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit
详细显示指定设备(这里为eth0)的队列状况
?tc -s qdisc ls dev eth0
qdisc cbq 1: rate 10Mbit (bounded,isolated) prio no-transmit
Sent 7646731 bytes 13232 pkts (dropped 0, overlimits 0)
borrowed 0 overactions 0 avgidle 31 undertime 0
　　 这里主要显示了通过该队列发送了13232个数据包，数据流量为7646731个字节，丢弃的包数目为0，超过速率限制的包数目为0。
2）显示分类的状况
简单显示指定设备(这里为eth0)的分类状况
?tc class ls dev eth0
class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit
class cbq 1:1 parent 1: rate 10Mbit prio no-transmit #no-transmit表示优先级为8
class cbq 1:2 parent 1:1 rate 8Mbit prio 2
class cbq 1:3 parent 1:1 rate 1Mbit prio 1
class cbq 1:4 parent 1:1 rate 1Mbit prio 6
详细显示指定设备(这里为eth0)的分类状况
?tc -s class ls dev eth0
class cbq 1: root rate 10Mbit (bounded,isolated) prio no-transmit
Sent 17725304 bytes 32088 pkts (dropped 0, overlimits 0)
borrowed 0 overactions 0 avgidle 31 undertime 0
class cbq 1:1 parent 1: rate 10Mbit prio no-transmit
Sent 16627774 bytes 28884 pkts (dropped 0, overlimits 0)
borrowed 16163 overactions 0 avgidle 587 undertime 0
class cbq 1:2 parent 1:1 rate 8Mbit prio 2
Sent 628829 bytes 3130 pkts (dropped 0, overlimits 0)
borrowed 0 overactions 0 avgidle 4137 undertime 0
class cbq 1:3 parent 1:1 rate 1Mbit prio 1
Sent 0 bytes 0 pkts (dropped 0, overlimits 0)
borrowed 0 overactions 0 avgidle 159654 undertime 0
class cbq 1:4 parent 1:1 rate 1Mbit prio 6
Sent 5552879 bytes 8076 pkts (dropped 0, overlimits 0)
borrowed 3797 overactions 0 avgidle 159557 undertime 0
　　 这里主要显示了通过不同分类发送的数据包，数据流量，丢弃的包数目，超过速率限制的包数目等等。其中根分类(class cbq 1:0)的状况应与队列的状况类似。
　　 例如，分类class cbq 1:4发送了8076个数据包，数据流量为5552879个字节，丢弃的包数目为0，超过速率限制的包数目为0。
显示过滤器的状况
?tc -s filter ls dev eth0
filter parent 1: protocol ip pref 100 route
filter parent 1: protocol ip pref 100 route fh 0xffff0002 flowid 1:2 to 2
filter parent 1: protocol ip pref 100 route fh 0xffff0003 flowid 1:3 to 3
filter parent 1: protocol ip pref 100 route fh 0xffff0004 flowid 1:4 to 4
这里flowid 1:2代表分类class cbq 1:2，to 2代表通过路由2发送。
显示现有路由的状况
?ip route
192.168.1.66 dev eth0 scope link
192.168.1.24 via 192.168.1.66 dev eth0 realm 2
02.102.24.216 dev ppp0 proto kernel scope link src 202.102.76.5
192.168.1.30 via 192.168.1.66 dev eth0 realm 3
192.168.1.0/24 via 192.168.1.66 dev eth0 realm 4
192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.66
172.16.1.0/24 via 192.168.1.66 dev eth0 scope link
127.0.0.0/8 dev lo scope link
default via 202.102.24.216 dev ppp0
default via 192.168.1.254 dev eth0
　　 如上所示，结尾包含有realm的显示行是起作用的路由过滤器。
6. 维护
　　 主要包括对队列、分类、过滤器和路由的增添、修改和删除。
　　 增添动作一般依照"队列->分类->过滤器->路由"的顺序进行；修改动作则没有什么要求；删除
则依照"路由->过滤器->分类->队列"的顺序进行。
1）队列的维护
一般对于一台流量控制器来说，出厂时针对每个以太网卡均已配置好一个队列了，通常情况下对队列无需进行增添、修改和删除动作了。
2）分类的维护
增添
增添动作通过tc class add命令实现，如前面所示。
修改
修改动作通过tc class change命令实现，如下所示：
?tc class change dev eth0 parent 1:1 classid 1:2 cbq bandwidth 10Mbit rate 7Mbit maxburst 20 allot 1514 prio 2 avpkt 1000 cell 8 weight 700Kbit split 1:0 bounded
对于bounded命令应慎用，一旦添加后就进行修改，只可通过删除后再添加来实现。
删除
删除动作只在该分类没有工作前才可进行，一旦通过该分类发送过数据，则无法删除它了。因此，需要通过shell文件方式来修改，通过重新启动来完成删除动作。
3）过滤器的维护
增添
增添动作通过tc filter add命令实现，如前面所示。
修改
修改动作通过tc filter change命令实现，如下所示：
?tc filter change dev eth0 parent 1:0 protocol ip prio 100 route to 10 flowid 1:8
删除
删除动作通过tc filter del命令实现，如下所示：
?tc filter del dev eth0 parent 1:0 protocol ip prio 100 route to 10
4）与过滤器一一映射路由的维护
增添
增添动作通过ip route add命令实现，如前面所示。
修改
修改动作通过ip route change命令实现，如下所示：
?ip route change 192.168.1.30 dev eth0 via 192.168.1.66 realm 8
删除
删除动作通过ip route del命令实现，如下所示：
?ip route del 192.168.1.30 dev eth0 via 192.168.1.66 realm 8
?ip route del 192.168.1.0/24 dev eth0 via 192.168.1.66 realm 4