IB

[TOC] 基本概念 RDMA Remote Direct Memory Access: 为了解决网络传输中服务器端数据处理的延迟而产生,通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，不需要用到多少计算机的处理功能。 IB infiniband,是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟，用于计算机与计算机之间的数据互连。InfiniBand也用作服务器与存储系统之间的直接或交换互连，以及存储系统之间的互连,它用到了RDMA技术。 IPoIB Internet Protocol over InfiniBand,利用物理IB网络通过IP协议进行连接，并进行数据传输。性能稍低于rdma，但是比普通的千兆网要快很多。目前在集群nfs上测试，可以10Gb/s 安装infiniband 安装包 infiniband驱动模块是需要在所有infiniband节点安装。 驱动模块，以下软件包之一： 以下软件包之一：infinipath-psm 、libcxgb3、libcxgb4、libehca、libipathverbs、libmthca、libmlx4、libmlx5、libnes 及 libocrdma libibverbs 提供InfiniBand Verbs API yum install libibverbs yum install rdma #RDMA栈内核初始化 systemctl start rdma opensm opensm可以搭建管理子网络。 yum install opensm 测试工具 infiniband-diags 或 ibutils 为 InfiniBand 结构管理提供大量有用的调试工具。这些工具只 为 iWARP 或 RoCE 提供有限功能，因为大多数工具可在 InfiniBank 链接层工作，但无法在 Verbs API 层 使用。 qperf和perftest 用于各种 RDMA 通讯类型的性能测试应用程序。 ------------------------------------ 查看所有node的配置信息 ------------------------------------ iblinkinfo CA: node5 mlx5_0: 0x248a07030058f544 1 1[ ] ==( 4X 25.78125 Gbps Active/ LinkUp)==> 11 34[ ] "MF0;switch-ab29a6:MSB7700/U1" ( ) CA: node6 mlx5_0: 0x248a07030058f650 8 1[ ] ==( 4X 25.78125 Gbps Active/ LinkUp)==> 11 32[ ] "MF0;switch-ab29a6:MSB7700/U1" ( ) 11 32[ ] ==( 4X 25.78125 Gbps Active/ LinkUp)==> 8 1[ ] "node6 mlx5_0" ( ) 11 34[ ] ==( 4X 25.78125 Gbps Active/ LinkUp)==> 1 1[ ] "node5 mlx5_0" ( ) ------------------------------------ ibping test RDMA ------------------------------------ 首先启动opensm服务 然后查看每个node节点的infiniband信息 ibv_devinfo 或者 ibstat都行 [root@master rdma]#ibv_devinfo && ibstat hca_id: mlx5_0 transport: InfiniBand (0) fw_ver: 12.17.1010 node_guid: 248a:0703:0058:f504 sys_image_guid: 248a:0703:0058:f504 vendor_id: 0x02c9 vendor_part_id: 4115 hw_ver: 0x0 board_id: MT_2180110032 phys_port_cnt: 1 port: 1 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 4096 (5) sm_lid: 2 port_lid: 2 port_lmc: 0x00 link_layer: InfiniBand CA 'mlx5_0' CA type: MT4115 Number of ports: 1 Firmware version: 12.17.1010 Hardware version: 0 Node GUID: 0x248a07030058f504 System image GUID: 0x248a07030058f504 Port 1: State: Active Physical state: LinkUp Rate: 100 Base lid: 2 LMC: 0 SM lid: 2 Capability mask: 0x2659e84a Port GUID: 0x248a07030058f504 Link layer: InfiniBand 在服务端 ibping -S -C mlx5_0 -P 1 -L 2 ibping -S -C mlx5_0 -P 1 -G 0x248a07030058f504 -S 以server启动 -C 就是指明CA的名称 -P 指明port -L 指明port_lid/Base lid -G 指明GUID 在客户端 ibping -c 10000 -f -C mlx5_0 -P 1 -L 2 指明你要ping的服务端的 -C -P -G -L等 结果如下： [root@node2 ~]#ibping -c 10000 -f -C mlx5_0 -P 1 -L 2 --- master.(none) (Lid 2) ibping statistics --- 10000 packets transmitted, 10000 received, 0% packet loss, time 1364 ms rtt min/avg/max = 0.034/0.136/0.849 ms IPoIB ------------------------------------ IPoIB 配置 ------------------------------------ #cat /etc/sysconfig/network-scripts/ifcfg-mlx5_ib0 # Generated by dracut initrd DEVICE=mlx5_ib0 #这里必须对应/etc/udev/rules.d/70-persistent-ipoib.rules 中的 NAME="mlx5_ib0" TYPE=InfiniBand #这里必须是InfiniBand ONBOOT=yes HARDWAR=80:00:00:66:fe:80:00:00:00:00:00:00:24:8a:07:03:00:58:f5:04 BOOTPROTO=none IPADDR=172.16.20.10 NETMASK=255.255.255.0 BROADCAST=172.16.20.255 NAME=mlx5_ib0 #这里对应ifconfig中的网卡名称 MTU=65520 #设置连接模式最大MTU STARTMODE='auto' NM_CONTROLLED=no CONNECTED_MODE=yes #设置连接模式 #ifup mlx5_ib0 通过IPoIB配置nfs 服务端： yum install nfs-utils modprobe svcrdma systemctl start nfs echo rdma 20049 > /proc/fs/nfsd/portlist cat /proc/fs/nfsd/portlist rdma 20049 udp 2049 tcp 2049 客户端： modprobe xprtrdma mount -o rdma,port=20049 172.16.20.10:/atlas /atlas cat /etc/fstab 172.16.20.10:/atlas /atlas nfs defaults 0 0 /dev/sda1 /scratch ext4 defaults 0 0 mount | grep my_directory ...proto=rdma,port=20049,...