首頁  >  文章  >  電腦教學  >  聊一聊Linux網路效能王者-XDP技術

聊一聊Linux網路效能王者-XDP技術

WBOY
WBOY轉載
2024-03-08 14:00:221261瀏覽

聊一聊Linux網路效能王者-XDP技術

大家好,今天我們透過幾張圖來聊一聊XDP技術。

许多Linux开发人员可能对XDP技术感到陌生,尤其是那些从事网络相关开发工作的人。如果你是一名Linux开发人员且对XDP技术不了解,那可能会错失许多机会。

我曾应用XDP技术对一个项目进行优化,成功提升了其网络处理性能3-4倍。也许有人会认为该项目原本性能较差,才有如此显著的提升空间。

我认为,在当前的软件架构下,即使进行进一步优化,性能瓶颈也不容易消除。必须采取更高效的架构,以更全面的视角来解决这个问题。

后续我的项目魔法盒子也会用上XDP技术,采用XDP技术后,魔法盒子的网络性能估计能够提高3倍左右。

1.XDP技术简介

1.1 XDP技术背景

随着超高带宽网络技术10G,40G,100G网络的出现,Linux内核协议栈越来越不能适应新的网络技术的发展,Linux内核协议栈似乎成为了网络性能的瓶颈和鸡肋,为了解决这个尴尬的处境,Linux内核引入了一个新的技术内核旁路(Kernel Bypass)技术,内核旁路技术的核心思想是网络数据包跳过内核协议栈,直接由用户程序处理,这样可以避免内核协议栈的开销,大大提高网络性能。

XDP是Linux特有的内核旁路技术,与之相对应的是DPDK技术。DPDK在性能方面表现出色,然而并不完全适用于Linux系统。

1.2 XDP是什么?

XDP是一种Linux内核技术,通过使用eBPF机制,在内核空间中实现高性能的数据包处理和转发。

XDP可以显著提升网络性能,并提供灵活的编程接口,让用户能够实现各种自定义的网络功能。相较于传统的用户空间数据包处理,XDP能够有效降低数据包处理的延迟和CPU占用。

XDP技术工作模式:

 原生模式(性能高,需要网卡支持)驱动模式,将XDP程序运行在网卡驱动中,从网卡驱动中将网络数据包重定向,该模式支持的网卡较多且性能也很高,如果网卡支持的话,尽量使用该模式。

卸载模式(性能最高,支持的网卡最少)将XDP程序直接卸载到网卡,该模式支持的网卡少,暂不做讨论。

通用模式(性能良好,Linux内核支持最好)XDP程序运行在Linux内核协议栈入口,无需驱动支持,性能低于XDP其他的两种模式,但是即使XDP通用模式,也会给你的系统性能带来一定的提升。

后续会有专门的专题来讲XDP技术,这里不展开讨论。

2.AF_XDP工作原理

2.1 整体架构

很多同学容易将XDP和AF_XDP技术给弄混淆。

  • XDP技术是基于BPF技术的一种新的网络技术。
  • AF_XDP是XDP技术的一种应用场景,AF_XDP是一种高性能Linux socket。

AF_XDP需要通过socket函数创建。

socket(AF_XDP, SOCK_RAW, 0);

AF_XDP技术会涉及到一些比较重要的知识点:

图片

  • AF_XDP想要XDP程序配合,才能完成网络数据包收发。
  • XDP程序主要工作是根据以太网帧的相关信息如:MAC地址,五元组信息等,进行数据包的过滤和重定向。
  • AF_XDP处理的是以太网数据帧,所以用户程序发送和接收的是以太网数据帧。
  • 用户程序,AF_XDP,XDP会操作一个共享的内存区域,称之为UMEM。
  • 网络数据包的接收和发送需要用到4个无锁环形队列。

2.2 UMEM共享内存

UMEM共享内存通过setsockopt函数进行申请。

setsockopt(umem->fd, SOL_XDP, XDP_UMEM_REG, &mr, sizeof(mr));

UMEM共享内存通常以4K为一个单元,每个单元可以存储一个数据包,UMEM共享内存通常为4096个单元。

接收和发送的数据包都是存储在UMEM内存单元。

用户程序和内核都可以直接操作这块内存区域,所以发送和接收数据包时,只是简单的内存拷贝,不需要进行系统调用。

用户程序需要维护一个UMEM内存使用记录,记录每一个UMEM单元是否已被使用,每个记录都会有一个相对地址,用于定位UMEM内存单元地址。

2.2 无锁环形队列

AF_XDP socket总共有4个无锁环形队列,分别为:

  • 填充队列(FILL RING)
  • 已完成队列(COMPLETION RING)
  • 发送队列(TX RING)
  • 接收队列(RX RING)

图片

环形队列创建方式:

//创建FILL RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_FILL_RING,&umem->config.fill_size, sizeof(umem->config.fill_size)); //创建COMPLETION RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,&umem->config.comp_size, sizeof(umem->config.comp_size));//创建RX RING setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,&xsk->config.rx_size, sizeof(xsk->config.rx_size));//创建TX RINGsetsockopt(xsk->fd, SOL_XDP, XDP_TX_RING, &xsk->config.tx_size, sizeof(xsk->config.tx_size));

4个环形队列实现方式基本相同,环形队列是对数组进行封装的数据结构,环形队列由5个重要部分组成:

  • 生产者序号(producer)

    生产者序号用于指示数组当前可生产的元素位置,如果队列已满,将不能再生产。

  • 消费者序号(consumer)

    消费者序号用于指示当前可消费的元素位置,如果队列已空,将不能再消费。

  • 队列长度(len)

    队列长度即数组长度。

  • 队列掩码(mask)

    mask=len-1,生产者和消费者序号不能直接使用,需要配合掩码使用,producer,consumer和mask进行与运算,可以获取到数组的索引值。

  • 固定长度数组

数组的每一个元素记录了UMEM单元的相对地址,如果UMEM单元有发送和接收的数据包,还会记录数据包的长度。

环形队列的无锁化通过原子变量来实现,原子变量和原子操作在高性能编程中经常会用到。

2.3 AF_XDP接收数据包

 AF_XDP接收数据包需要FILL RING,RX RING两个环形队列配合工作。

第一步:XDP程序获取可用UMEM单元。

FILL RING记录了可以用来接收数据包的UMEM单元数量,用户程序根据UMEM使用记录,定期的往FILL RING生产可用UMEM单元。

 第二步:XDP填充新的接收数据包

XDP程序消费FILL RING中UMEM单元用于存放网络数据包,接收完数据包后,将UMEM单元和数据包长度重新打包,填充至RX RING队列,生产一个待接收的数据包。

 第三步:用户程序接收网络数据包

用户程序检测到RX RING有待接的收数据包,消费RX RING中数据包,将数据包信息从UMEM单元中拷贝至用户程序缓冲区,同时用户程序需要再次填充FILL RING队列推动XDP继续接收数据。

图片

2.4 AF_XDP发送数据包

AF_XDP发送数据包需要COMP RING,TX RING两个环形队列配合工作。

第一步:用户程序确保有足够的UMEM发送单元

COMP RING记录了已完成发送的数据包(UMEM单元)数量,用户程序需要回收这部分UMEM单元,确保有足够的UMEM发送单元。

第二步:用户程序发送数据包

用户程序申请一个可用的UMEM单元,将数据包拷贝至该UMEM单元,然后生产一个待发送数据包填充值TX RING。

第三步:XDP发送数据包

XDP程序检测到TX RING中有待发送数据包,从TX RING消费一个数据包进行发送,发送完成后,将UMEM单元填充至COMP RING,生产一个已完成发送数据包,用户程序将对该数据包UMEM单元进行回收。

图片

3. AF_XDP高效的秘密

AF_XDP之所以高效,主要有三大原因:

  • 内核旁路技术

内核旁路技术在处理网络数据包的时候,可以跳过Linux内核协议栈,相当于走了捷径,这样可以降低链路开销。

  • 内存映射

用户程序和内核共享UMEM内存和无锁环形队列,采用mmap技术将内存进行映射,用户操作UMEM内存不需要进行系统调用,减少了系统调用上下文切换成本。

  • 无锁环形队列

无锁环形队列采用原子变量实现,可以减少线程切换和上下文切换成本。

基于以上几点,AF_XDP必然是一个高性能的网络技术,由于目前没有一个能够测试XDP极限性能的测试环境,大家如果对AF_XDP技术感兴趣,可以自行上网搜索相关资料。

以上是聊一聊Linux網路效能王者-XDP技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:mryunwei.com。如有侵權,請聯絡admin@php.cn刪除