系列解读SMC-R：透明无感提升云上TCP应用网络性能（一） 作者 | 龙蜥社区高性能网络 SIG 策划 | 凌敏 引 言 Shared Memory Communication over RDMA (SMC-R) 是一种基于 RDMA 技术、兼容 socket 接口的内核网络协议，由 IBM 提出并在 2017 年贡献至 Linux 内核。SMC-R 能够帮助 TCP 网络应用程序透明使用 RDMA，获得高带宽、低时延的网络通信服务。阿里云云上操作系统 Alibaba Cloud Linux 3 以及龙蜥社区开源操作系统 Anolis 8 配合神龙弹性 RDMA (eRDMA) 首次将 SMC-R 带上云上场景，助力云上应用获得更好的网络性能：《技术揭秘：阿里云发布第四代神龙 ，SMC-R 让网络性能提升 20%》。 由于 RDMA 技术在数据中心领域的广泛使用，龙蜥社区高性能网络 SIG 认为 SMC-R 将成为下一代数据中心内核协议栈的重要方向之一。 为此，我们对其进行了大量的优化，并积极将这些优化回馈到上游 Linux 社区。目前，龙蜥社区高性能网络 SIG 是除 IBM 以外最大的 SMC-R 代码贡献团体。 由于 SMC-R 相关中文资料极少，我们希望通过一系列文章，让更多的国内读者了解并接触 SMC-R，也欢迎有兴趣的读者加入龙蜥社区高性能网络 SIG 一起沟通交流。 本篇作为系列文章的第一篇，将从宏观的角度带领读者初探 SMC-R。 一、从 RDMA 谈起 Shared Memory Communication over RDMA 的名称包含了 SMC-R 网络协议的一大特点——基于 RDMA。因此，在介绍 SMC-R 前我们先来看看这个高性能网络领域中的绝对主力：Remote Direct Memory Access (RDMA) 技术。 1.1 为什么需要 RDMA ? 随着数据中心、分布式系统、高性能计算领域的快速发展，网络设备性能进步显著，主流物理网络带宽已达到了 25-100 Gb/s，网络时延也进入了十微秒的时代。 然而，网络设备性能提升的同时一个问题也逐渐显露：网络性能与 CPU 算力逐渐失配。 传统网络中，负责网络报文封装、解析和用户态 / 内核态间数据搬运的 CPU 在高速增长的网络带宽面前逐渐显得力不从心，面临越来越大的压力。 以 TCP/IP 网络的一次数据发送与接收过程为例。发送节点 CPU 首先将数据从用户态内存拷贝至内核态内存，在内核态协议栈中完成数据包封装；再由 DMA 控制器将封装好的数据包搬运到 NIC 上发送到对端。接收端 NIC 获得数据包后通过 DMA 控制器搬运到内核态内存中，由内核协议栈解析，层层剥离帧首或包头后再由 CPU 将有效负载 (payload) 拷贝到用户态内存中，完成一次数据传输。 （图/传统 TCP/IP 网络传输模型） 在这一过程中，CPU 需要负责： 1）用户态与内核态间的数据拷贝。 2）网络报文的封装、解析工作。 这些工作“重复低级”，占用了大量 CPU 资源 (如 100 Gb/s 的网卡跑到满带宽需要打满多个 CPU 核资源)，使得 CPU 在数据密集型场景下无法将算力用到更有益的地方。 所以，解决网络性能与 CPU 算力失配问题成为了高性能网络发展的关键。考虑到摩尔定律逐渐失效，CPU 性能短时间内发展缓慢，将网络数据处理工作从 CPU 卸载到硬件设备的思路就成为了主流解决方案。这使得以往专用于特定高性能领域的 RDMA 在通用场景下得到愈来愈多的应用。 1.2 RDMA 的优势 RDMA (Remote Direct Memory Access) 是一种远程内存直接访问技术，自提出以来经过 20 余年的发展已经成为了高性能网络的重要组成。那么 RDMA 是如何完成一次数据传输的呢？ （图/用户态 RDMA 网络传输模型） RDMA 网络 (用户态模式) 中，具备 RDMA 能力的网卡 RNIC 直接从发送端用户态内存中取得数据，在网卡中完成数据封装后传输到接收端，再由接收端 RNIC 将数据解析剥离，将有效负载 (payload) 直接放入用户态内存中完成数据传输。 这一过程中 CPU 除了必要的控制面功能外，几乎不用参与数据传输。数据就像是通过 RNIC 直接写入到远程节点的内存中一样。因此，与传统网络相比，RDMA 将 CPU 从网络传输中解放了出来，使得网络传输就像是远程内存直接访问一样方便快捷。 （图/传统网络与 RDMA 网络协议栈对比） 对比传统网络协议，RDMA 网络协议具有以下三个特点： 1. 旁路软件协议栈 RDMA 网络依赖 RNIC 在网卡内部完成数据包封装与解析，旁路了网络传输相关的软件协议栈。对于用户态应用程序，RDMA 网络的数据路径旁路了整个内核；对于内核应用程序，则旁路了内核中的部分协议栈。由于旁路了软件协议栈，将数据处理工作卸载到了硬件设备，因而 RDMA 能够有效降低网络时延。 2.CPU 卸载 RDMA 网络中，CPU 仅负责控制面工作。数据路径上，有效负载由 RNIC 的 DMA 模块在应用缓冲区和网卡缓冲区中拷贝 (应用缓冲区提前注册，授权网卡访问的前提下)，不再需要 CPU 参与数据搬运，因此可以降低网络传输中的 CPU 占用率。 3. 内存直接访问 RDMA 网络中，RNIC 一旦获得远程内存的访问权限，即可直接向远程内存中写入或从远程内存中读出数据，不需要远程节点参与，非常适合大块数据传输。 二、回到 SMC-R 通过上述介绍，相信读者对 RDMA 主要特点以及性能优势有了初步的了解。不过，虽然 RDMA 技术能够带来可喜的网络性能提升，但是想使用 RDMA 透明提升现有 TCP 应用的网络性能仍有困难，这是因为 RDMA 网络的使用依赖一系列新的语义接口，包括 ibverbs 接口与 rdmacm 接口 （后统称 verbs 接口）。 部分ibverbs与rdmacm接口[1] 相较于传统 POSIX socket 接口，verbs 接口数量多，且更接近硬件语义。对于已有的基于 POSIX socket 接口实现的 TCP 网络应用，想要享受 RDMA 带来的性能红利就不得不对应用程序进行大量改造，成本巨大。 因此，我们希望能够在使用 RDMA 网络的同时沿用 socket 接口，使现有 socket 应用程序透明的享受 RDMA 服务。针对这一需求，业界提出了以下两个方案： 其一，是基于 libvma 的用户态方案。libvma 的原理是通过 LD_PRELOAD 来将应用所有 socket 调用引入自定义实现，在自定义实现中调用 verbs 接口，完成数据收发。但是，由于实现在用户态，libvma 一方面缺少内核统一资源管理，另一方面对 socket 接口的兼容性较差。 其二，是基于 SMC-R 的内核态方案。 作为内核态协议栈，SMC-R 对 TCP 应用的兼容性相较于用户态方案会好很多，这种 100% 兼容意味着极低的推广和复用成本。此外，实现在内核态使得 SMC-R 协议栈中的 RDMA 资源能够被用户态不同进程共享，提高资源利用率的同时降低频繁资源申请与释放的开销。 不过，完全兼容 socket 接口就意味着需要牺牲极致的 RDMA 性能 (因为用户态 RDMA 程序可以做到数据路径旁路内核与零拷贝，而 SMC-R 为了兼容 socket 接口，无法实现零拷贝)，但这也换来兼容与易用，以及对比 TCP 协议栈的透明性能提升。未来，我们还计划拓展接口，以牺牲小部分兼容性的代价将零拷贝特性应用于 SMC-R，使它的性能得到进一步改善。 2.1 透明替换 TCP SMC-R is an open sockets over RDMA protocol that provides transparent exploitation of RDMA (for TCP based applications) while preserving key functions and qualities of service from the TCP/IP ecosystem that enterprise level servers/network depend on! 摘自：https://www.openfabrics.org/images/eventpresos/workshops2014/IBUG/presos/Thursday/PDF/05_SMC-R_Update.pdf SMC-R 作为一套与 TCP/IP 协议平行，向上兼容 socket 接口，底层使用 RDMA 完成共享内存通信的内核协议栈，其设计意图是为 TCP 应用提供透明的 RDMA 服务，同时保留了 TCP/IP 生态系统中的关键功能。 为此，SMC-R 在内核中定义了新的网络协议族 AF_SMC，其 proto_ops 与 TCP 行为完全一致。 /* must look like tcp */ static const struct proto_ops smc_sock_ops = { .family = PF_SMC, .owner = THIS_MODULE, .release = smc_release, .bind = smc_bind, .connect = smc_connect, .socketpair = sock_no_socketpair, .accept = smc_accept, .getname = smc_getname, .poll = smc_poll, .ioctl = smc_ioctl, .listen = smc_listen, .shutdown = smc_shutdown, .setsockopt = smc_setsockopt, .getsockopt = smc_getsockopt, .sendmsg = smc_sendmsg, .recvmsg = smc_recvmsg, .mmap = sock_no_mmap, .sendpage = smc_sendpage, .splice_read = smc_splice_read, }; 由于 SMC-R 协议支持与 TCP 行为一致的 socket 接口，使用 SMC-R 协议非常简单。总体来说有两个方法： （图/SMC-R 的使用方法） 其一，使用 SMC-R 协议族 AF_SMC 开发。 通过创建 AF_SMC 类型的 socket，应用程序的流量将进入到 SMC-R 协议栈； 其二，透明替换协议栈。 将应用程序创建的 TCP 类型 socket 透明替换为 SMC 类型 socket。透明替换可以通过以下两种方式实现： 使用 LD_PRELOAD 实现协议栈透明替换。在运行 TCP 应用程序时预加载一个动态库。在动态库中实现自定义 socket() 函数，将 TCP 应用程序创建的 AF_INET 类型 socket 转换为 AF_SMC 类型的 socket，再调用标准 socket 创建流程，从而将 TCP 应用流量引入 SMC-R 协议栈。 int socket(int domain, int type, int protocol) { int rc; if (!dl_handle) initialize(); /* check if socket is eligible for AF_SMC */ if ((domain == AF_INET || domain == AF_INET6) && // see kernel code, include/linux/net.h, SOCK_TYPE_MASK (type & 0xf) == SOCK_STREAM && (protocol == IPPROTO_IP || protocol == IPPROTO_TCP)) { dbg_msg(stderr, "libsmc-preload: map sock to AF_SMC\n"); if (domain == AF_INET) protocol = SMCPROTO_SMC; else /* AF_INET6 */ protocol = SMCPROTO_SMC6; domain = AF_SMC; } rc = (*orig_socket)(domain, type, protocol); return rc; } 开源用户态工具集 smc-tools 中的 smc_run 指令即实现上述功能 [2]。 通过 ULP + eBPF 实现协议栈透明替换。SMC-R 支持 TCP ULP 是龙蜥社区高性能网络 SIG 贡献到上游 Linux 社区的新特性。用户可以通过 setsockopt() 指定新创建的 TCP 类型 socket 转换为 SMC 类型 socket。同时，为避免应用程序改造，用户可以通过 eBPF 在合适的 hook 点 (如 BPF_CGROUP_INET_SOCK_CREATE、BPF_CGROUP_INET4_BIND、BPF_CGROUP_INET6_BIND 等) 注入 setsockopt()，实现透明替换。这种方式更适合在容器场景下可以依据自定义规则，批量的完成协议转换。 static int smc_ulp_init(struct sock *sk) { struct socket *tcp = sk-sk_socket; struct net *net = sock_net(sk); struct socket *smcsock; int protocol, ret; /* only TCP can be replaced */ if (tcp-type != SOCK_STREAM || sk-sk_protocol != IPPROTO_TCP || (sk-sk_family != AF_INET sk_family != AF_INET6)) return -ESOCKTNOSUPPORT; /* don't handle wq now */ if (tcp-state != SS_UNCONNECTED || !tcp-file || tcp-wq.fasync_list) return -ENOTCONN; if (sk-sk_family == AF_INET) protocol = SMCPROTO_SMC; else protocol = SMCPROTO_SMC6; smcsock = sock_alloc(); if (!smcsock) return -ENFILE; ... } SEC("cgroup/connect4") int replace_to_smc(struct bpf_sock_addr *addr) { int pid = bpf_get_current_pid_tgid() 32; long ret; /* use-defined rules/filters, such as pid, tcp src/dst address, etc...*/ if (pid != DESIRED_PID) return 0; ... ret = bpf_setsockopt(addr, SOL_TCP, TCP_ULP, "smc", sizeof("smc")); if (ret) { bpf_printk("replace TCP with SMC error: %ld\n", ret); return 0; } return 0; } 综合上述介绍，TCP 应用程序 透明 使用 RDMA 服务可以体现在以下两个方面： 2.2 SMC-R 架构 （图/SMC-R 架构） SMC-R 协议栈在系统内部处于 socket 层以下，RDMA 内核 verbs 层以上。是一个具备"hybrid"特点的内核网络协议栈。这里的"hybrid"主要体现在 SMC-R 协议栈中混合了 RDMA 流与 TCP 流： 数据流量基于 RDMA 网络传输 SMC-R 使用 RDMA 网络来传递用户态应用程序的数据，使应用程序透明的享受到 RDMA 带来的性能红利，即上图中黄色部分所示。 发送端应用程序的数据流量通过 socket 接口从应用缓冲区来到内核内存空间；接着通过 RDMA 网络直接写入远程节点的一个内核态 ringbuf (remote memory buffer, RMB) 中；最后由远程节点 SMC-R 协议栈将数据从 RMB 拷贝到接收端应用缓冲区中。 （图/SMC-R 共享内存通信） 显然，SMC-R 名称中的共享内存通信指的就是基于远程节点 RMB 进行通信。与传统的本地共享内存通信相比，SMC-R 将通信两端拓展为了两个分离的节点，利用 RDMA 实现了基于“远程”共享内存的通信。 （图/主流 RDMA 实现） 目前，RDMA 网络的主流实现有三种：InfiniBand、RoCE 和 iWARP。其中，RoCE 作为在高性能与高成本中权衡的方案，在使用 RDMA 的同时兼容以太网协议，既保证了不错的网络性能，同时也降低了网络组建成本，因此倍受企业青睐，Linux 上游社区版本的 SMC-R 也因此使用 RoCE v1 和 v2 作为其 RDMA 实现。 而 iWARP 则是基于 TCP 实现了 RDMA，突破了其余两者对无损网络的刚性需求。iWARP 具备更好的可拓展性，非常适用于云上场景。阿里云弹性 RDMA (eRDMA) 基于 iWARP 将 RDMA 技术带到云上。阿里云操作系统 Alibaba Cloud Linux 3 与龙蜥社区开源操作系统 Anolis 8 中的 SMC-R 也进一步支持了 eRDMA (iWARP)，使云上用户透明无感的使用 RDMA 网络。 依赖 TCP 流建立连接 除 RDMA 流外，SMC-R 还会为每个 SMC-R 连接配备一条 TCP 连接，两者具有相同的生命周期。TCP 流在 SMC-R 协议栈中主要担负以下职责： 1）动态发现对端 SMC-R 能力 在 SMC-R 连接建立前，通信两端并不知道对端是否同样支持 SMC-R。因此，两端会首先建立一条 TCP 连接。在 TCP 连接三次握手的过程中通过发送携带特殊的 TCP 选项的 SYN 包表示支持 SMC-R，同时检验对端发送的 SYN 包中的 TCP 选项。 （图/表示 SMC-R 能力的 TCP 选项） 2）回退 若在上述过程中，通信两端其一无法支持 SMC-R 协议，或是在 SMC-R 连接建立过程中无法继续，则 SMC-R 协议栈将回退至 TCP 协议栈。回退过程中，SMC-R 协议栈将应用程序持有的文件描述符对应的 socket 替换为 TCP 连接的 socket。应用程序的流量将通过这条 TCP 连接承载，以保证数据传输不会中断。 3）帮助建立 SMC-R 连接 若通信两端均支持 SMC-R 协议，则将通过 TCP 连接交换 SMC-R 连接建立消息 (建连过程类似 SSL 握手)。此外，还需要使用此 TCP 连接交换两侧的 RDMA 资源信息，帮助建立用于数据传输的 RDMA 链路。 通过上述介绍，相信读者对 SMC-R 总体架构有了初步的了解。SMC-R 作为一个"hybrid"解决方案，充分利用了 TCP 流的通用性和 RDMA 流的高性能。后面的文章中我们将对 SMC-R 中的一次完整通信过程进行分析，届时读者将进一步体会到"hybrid"这一特点。 本篇作为 SMC-R 系列文章的首篇，希望能够起到一个引子的作用。回顾本篇，我们主要回答了这几个问题： 1、为什么要基于 RDMA ？ 因为 RDMA 能够带来网络性能提升 (吞吐 / 时延 /CPU 占用率)。 2、为什么 RDMA 能够带来性能提升？ 因为旁路了大量软件协议栈，将 CPU 从网络传输过程中解放出来，使数据传输就像直接写入远程内存一样简单。 3、为什么需要 SMC-R ？ 因为 RDMA 应用基于 verbs 接口实现，已有的 TCP socket 应用若想使用 RDMA 技术改造成本高。 4、SMC-R 有什么优势？ SMC-R 完全兼容 socket 接口，模拟 TCP socket 接口行为。使 TCP 用户态应用程序能够透明使用 RDMA 服务，不做任何改造就可以享受 RDMA 带来的性能优势。 5、SMC-R 的架构特点？ SMC-R 架构具有"hybrid"的特点，融合了 RDMA 流与 TCP 流。SMC-R 协议使用 RDMA 网络传输应用数据，使用 TCP 流确认对端 SMC-R 能力、帮助建立 RDMA 链路。 参考引用说明： [1]：https://network.nvidia.com/pdf/prod_software/RDMA_Aware_Programming_user_manual.pdf [2]：https://github.com/ibm-s390-linux/smc-tools 你也「在看」吗？??