文档信息:基于Broadcom Teaming的以太网多端口链路聚合实践手册目录1.背景描述 (3)2.功能描述 (3)3.配置环境 (3)4.配置前的准备 (4)5.配置流程 (4)6.配置步骤 (4)6.1.确认操作系统信息 (4)6.2.准备软件安装包 (5)6.3.安装Broadcom网卡管理套件BASP (5)6.4.配置Broadcom多网卡链路聚合 (7)6.5.配置交换机端的链路聚合 (14)6.6.验证配置成功 (14)附录1:实验室测试结果及分析 (17)测试设备 (17)测试环境接线图 (17)测试步骤及结果 (18)测试1:磁盘速度测试 (18)测试2:FTP测试 (18)测试3:CIFS测试 (18)测试分析 (18)测试结论 (19)附录2:各品牌交换机LACP配置指导 (19)1. 背景描述目前,公司项目中使用的绝大多数服务器上都是配置的四个以太网端口,其中以太网卡芯片主要来自Broadcom 公司。
在实际的工程项目中,我们往往需要架设FTP 服务器或者CIFS 网关服务器(存储访问服务器),那么研究如何利用多个网口实现链路聚合,以获取较高的I/O 传输带宽,就具有较强的实用意义。
针对此需求,系统整合实验室整合了基于Broadcom teaming 技术的以太网多端口链路聚合的技术解决方案。
2. 功能描述Broadcom Teaming 技术是把同一台服务器上的多个物理网口通过软件绑定成一个虚拟的网卡,也就是说,对于外部网络而言,这台服务器只有一个可见的网卡。
对于任何应用程序,以及本服务器所在的网络,这台服务器只有一个网络链接或者说只有一个可以访问的IP 地址。
利用Teaming 技术,除了多网口同时工作来提高网络速度以外,还有可以通过Teaming 实现不同网口之间的负载均衡(Load balancing )和网口冗余(Fault tolerance )。
3. 配置环境测测测测测H3C S5100测测测测测测测测测测测DELL R710测测测Windows Server 2008R2X644. 配置前的准备a) 安装操作系统:⏹DELL R710服务器,4个千兆Broadcom网口,安装Windows Server 2008 R2 X64操作系统;⏹测试工作站1台,1个千兆板载网口,安装win7 X64或WinXP操作系统。
b) 准备软件包:Broadcom网卡管理套件BASP。
c) 物理准备:使用4根网线连接DELL R710服务器4个网口至交换机1-4号端口;交换机数据线连接交换机,进入交换机控制台命令行调试模式。
5. 配置流程6. 配置步骤6.1. 确认操作系统信息请再次确认当前服务器操作系统是否为以下操作系统Windows Server 2008 R2 企业版64bit(安装时请选择完全安装)6.2. 准备软件安装包1)进入Windows Server2008 R2操作系统,查看设备管理器,检查网卡型号,如图示为Broadcom NetXtreme II 5709千兆网卡芯片。
2)至Broadcom官方网站下载Broadcom网卡Windows Management Applications,首先进入以下地址:/support/ethernet_nic/downloaddrivers.php3)选择合适的网卡芯片。
本次配置中选择NetXtreme II 1 Gigabit Server,进入下载页面:/support/ethernet_nic/netxtremeii.php4)在Windows Management Applications栏中,选择合适的版本。
本次配置操作系统为64位,所以下载文件:BASP_BACS_Mgnt_apps_x86_64-12.64.01.zip。
5)将文件BASP_BACS_Mgnt_apps_x86_64-12.64.01.zip拷贝至服务器本地磁盘。
6.3. 安装Broadcom网卡管理套件BASP1) 解压ZIP文件,双击setup.exe进入安装过程2) 点击下一步,默认安装即可,继续点击下一步,至安装成功。
3) 安装结束后,检查操作系统右下角,此时应该有如下图标,该图标为Broadcom advanced controlsuit3的图标。
4) 至此,BASP安装成功6.4. 配置Broadcom多网卡链路聚合1) 双击上图BACS图标或者在开始菜单中点击BACS3,进入配置过程。
2) BACS的管理界面如图示,在device management中显示当前系统中所有的网卡信息。
选择圈中所示的Team management进入网卡team管理。
3) 在team management中右键点击team,选择“create a team”,进入teaming向导4)点击Next,进入下一步配置5)输入设定的team名,点击next6)在team类型中,选择“802.3ad link aggregation using LACP”,点击下一步交换机),点击“确定”。
注:team成员个数应保持在2-8范围内。
9)本次配置不需要配置VLAN,选择Skip manage VLAN,点击next。
10)点击finish,在弹出的提示点击是,配置结束。
11)此时BACS会应用配置,配置成功后,会增加一块虚拟网卡,如图所示,右侧显示的是该虚拟网卡的相关信息。
注意图中红圈标注的网卡图标,第一号网卡与其他的图示不同,该图示表示该汇聚组目前只有1号网卡生效。
12)此时,查看操作系统的网络连接,可以看到team之后产生的虚拟网卡NICteaming,此时该网卡速度为当前生效的所有网卡速度之和。
由于尚未配置交换机LACP,所以目前只有1号网卡生效,此时该网卡速度为1Gb/s。
此时可对该网卡进行配置IP等操作。
6.5. 配置交换机端的链路聚合在服务器网卡使用LACP方式做teaming之后,需要在与之相连的交换机的对应端口上也使用LACP 协议做链路聚合。
因此要求环境中的交换机必须支持802.3ad标准中的LACP协议,下例以配置H3C S5100-48P-EI千兆以太网交换机为例,其余品牌交换机配置方式请参考附录2。
1) 进入交换机命令行配置模式,输入以下命令创建静态LACP汇聚组1<Sysname> system-view[Sysname] link-aggregation group 1 mode static2) 将以太网端口GigabitEthernet1/0/1至GigabitEthernet1/0/4加入汇聚组1。
注:这里的GigabitEthernet1/0/1至GigabitEthernet1/0/4为以太交换机上的连接服务器的四个端口[Sysname] interface GigabitEthernet 1/0/1[Sysname-GigabitEthernet1/0/1] port link-aggregation group 1[Sysname-GigabitEthernet1/0/1] quit[Sysname] interface GigabitEthernet1/0/2[Sysname-GigabitEthernet1/0/2] port link-aggregation group 1[Sysname-GigabitEthernet1/0/2] quit[Sysname] interface GigabitEthernet1/0/3[Sysname-GigabitEthernet1/0/3] port link-aggregation group 1[Sysname-GigabitEthernet1/0/3] quit[Sysname] interface GigabitEthernet1/0/4[Sysname-GigabitEthernet1/0/4] port link-aggregation group 1[Sysname-GigabitEthernet1/0/4] quit附注:交换机端trunk组内的组成员个数以服务器端网卡team的个数为准。
例如,环境中有3台服务器分别作了网卡team,则需要将每台服务器对端的交换机端口分别做trunk,总计需要做3个汇聚组。
6.6. 验证配置成功1) 配置过程中,注意观察交换机配置前后BASP软件上各个网卡图标的变化。
例如BASP配置成功后,只有1号物理网卡生效,图标如图红圈所示,此时虚拟网卡的属性显示速度只有1Gbps;交换机配置LACP之后,物理网卡图标如下图红圈所示,虚拟网卡属性显示速度为4Gbps;2) 配置网络IP ,在测试工作站上使用ping 命令检查工作站与服务器的通信,如果能ping 通,说明通信正常。
附录1:实验室测试结果及分析测试设备DDN6620 4Gb FC存储1台;DELL R710服务器,4个千兆Broadcom网口,1块Emulex LPe1150 4Gb FC卡,安装Windows Server 2008 R2 X64操作系统;HP380G5服务器1台,做MDC,使用1个千兆板载网口,1块Emulex LPe 111 4Gb FC卡,安装window Sever 2008R2 X64操作系统;测试工作站4台,1个千兆板载网口,2台安装win7 X64操作系统,2台安装Windows Server 2008R2操作系统;H3C S5100-48P-EI千兆以太交换机1台。
测试环境接线图HP 380G5MDC4Gb光纤交换机H3C千兆以太交换机测试站点测试站点光纤线千兆以太网线测试站点DDN 6620 FC存储DELL R710服务器测试站点接线及配置说明:1、使用4根网线连接DELL R710服务器4个网口至交换机1-4号端口;2、参考本手册第6章,完成基于Broadcom teaming技术的以太网多端口链路聚合的配置。
测试环境说明:FC-SAN环境,存储划出1个LUN,部署Stornext4.0文件系统,HP 380G5做MDC,DELL R710服务器部署SNFS client,做1个SNFS,盘符为S盘。
测试步骤及结果测试1:磁盘速度测试本地测试R710 Server 上SNFS即S盘的极限和稳定读写性能:极限写:360MB 极限读:425MB 极限混合:425MB稳定写:18流(225MB)稳定读:22流(275MB)测试2:FTP测试在R710上搭建FTP文件服务器,根目录为S盘,测试4台工作站点,同时单进程上传和下载的速度:Server-U FTP 下载:140MB 上传:120MB大洋starfish 下载:145MB 上传:120MB测试3:CIFS测试将R710上的S盘设置成网络共享,在4台测试站点分别映射此网络盘,测试CIFS协议下4站点通过LACP聚合的网口访问R710服务器上的S盘的性能:极限写:280MB 极限读:350MB 极限混合:400MB稳定写:15流(187.5MB)稳定读:18流(225MB)测试分析通过测试1验证本次测试过程中后端存储不会成为瓶颈。