搜索
首页电脑教程电脑知识六张图讲清楚Linux零拷贝技术

六张图讲清楚Linux零拷贝技术

大家好,今天让我们聊一聊Linux零拷贝技术。我们将以sendfile系统调用作为切入点,深入探讨零拷贝技术的基本原理。零拷贝技术的核心思想是尽量减少数据在内存之间的复制,通过优化数据传输路径,提高数据传输的效率和性能。

1.零拷贝技术简介

Linux零拷贝技术是一项用于优化数据传输的技术,通过减少数据在内核态和用户态之间的复制次数,从而提高数据传输的效率。

在数据传输的过程中,通常需要将数据从内核缓冲区复制到应用程序的缓冲区,再从应用程序缓冲区复制到网络设备的缓冲区,最终才能完成发送。

零拷贝技术的优势在于能够直接传输数据,无需经过中间复制的步骤,这有助于提高数据传输的效率。

Linux零拷贝技术实现方式:

  • sendfile系统调用:sendfile系统调用可以在内核态中直接将文件内容发送到网络设备的缓冲区,避免了数据在用户态和内核态之间的拷贝。
  • splice系统调用:splice系统调用可以将一个文件描述符的数据直接传输到另一个文件描述符,也可以将数据从一个文件描述符传输到网络设备的缓冲区,避免了中间的拷贝过程。
  • mmap和write系统调用:mmap系统调用可以将文件映射到内存中,然后使用write系统调用将内存中的数据直接发送到网络设备的缓冲区,避免了数据在用户态和内核态之间的拷贝。
  • DMA(Direct Memory Access):DMA是一种硬件技术,可以直接将数据从内存传输到网络设备的缓冲区,避免了CPU的介入,提高了数据传输的效率。

2.sendfile系统调用

sendfile系统调用可以在内核空间内直接传输文件数据,它通过将数据从一个文件描述符复制到另一个文件描述符的发送缓冲区来实现。这样一来,数据可以通过网络协议栈直接发送出去,避免了在用户空间和内核空间之间频繁的数据拷贝操作。

这样就避免了数据在内核和用户空间之间的复制,提高了传输效率。

sendfile系统调用函数原型:

#include 
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

参数说明:
out_fd:目标文件描述符,用于发送数据。
in_fd:源文件描述符,从该文件读取数据。
offset:指定从源文件的哪个位置开始读取数据,可以为NULL表示从当前位置开始。
count:要传输的字节数。

返回值:
成功:返回写入out_fd文件的字节数。
失败:返回-1,并设置errno。

3.sendfile实现原理

3.1 传统方式发送文件

使用传统方式把一个文件通过socket发送出去,我们需要执行一个比较长的路径。

路径:磁盘->文件页缓存->用户缓冲区->套接字缓冲区->网卡。

上下文切换和内存拷贝情况如下:

  • 上下文切换:4次(read调用,read返回,write调用,write返回)
  • DMA拷贝:2次
  • CPU拷贝:2次(文件页缓存->用户缓冲区,用户缓冲区->套接字缓冲区)

图片

3.2 sendfile发送文件

使用sendfile发送文件,相对来说整个路径会短一些。

路径:磁盘->文件页缓存->套接字缓冲区->网卡。

上下文切换和内存拷贝情况如下:

上下文切换:2次(sendfile调用,sendfile返回)

DMA拷贝:2次

CPU拷贝:1次(文件页缓存->套接字缓冲区)

图片

3.3 sendfile实现原理

sendfile实现的核心是管道,管道在Linux系统中应用的比较多,比如说通过管道实现进程间通信。

当需要将文件数据拷贝至socket缓冲区时,会临时创建一个管道(环形缓冲区),将文件数据先拷贝至管道,再将管道数据迁移至socket缓冲区,数据迁移并不是数据拷贝,只是将指针指向内存地址。

图片

3.4 小节

通过采用sendfile发送文件,可以减少2次上下文切换和1次CPU拷贝,如果我们的实际应用场景是需要进行大量的文件发送,采用sendfile能够很大程度上提高系统性能。

4.管道

4.1 管道简介

管道在Linux系统中应用很广泛,除了零拷贝技术使用到管道,进程间通信同样使用到管道,那么管道到底是什么?

图片

管道是什么?

管道其实就是一个环形缓冲区,通过管道可以将数据从一个文件拷贝另外一个文件。

管道由struct pipe_inode_info结构体定义,该数据结构有4个重要成员:

  • pipe_buffer:管道缓冲区数组,一个固定长度的数组,每个数组成员都是一个缓冲区,对应一个struct pipe_buffer结构。
  • head:头部序号,表示当前可写缓冲区的位置,需要配合mask使用。
  • tail:尾部序号,表示当前可读缓冲区的位置,需要配合mask使用。
  • ring_size:管道缓冲区数组长度,ring_size – 1计算出mask,head & mask获取当前可写缓冲区数组下标,tail & mask获取当前可读缓冲区数组下标。

管道缓冲区由struct pipe_buffer定义,该结构有3个重要成员:

  • page:页指针
  • offset:数据在页中偏移
  • len:数据长度

管道已满或为空判断?

管道已满判断:

head – tail >= ring_size,表示管道已满。

管道为空判断:

head == tail,表示管道为空。

以上是六张图讲清楚Linux零拷贝技术的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:每日运维。如有侵权,请联系admin@php.cn删除
修复任务栏颜色不变的4种方法在Windows 10 -Minitool中修复任务栏颜色不变的4种方法在Windows 10 -Minitool中May 02, 2025 am 12:50 AM

您是否曾经遇到过“任务栏颜色不变”的问题?您对这个问题感到困惑吗? PHP.CN的这篇文章重点介绍此问题,并为您提供了几种可帮助您修复的方法。

远程桌面服务当前很忙 - 目标解决方案远程桌面服务当前很忙 - 目标解决方案May 02, 2025 am 12:49 AM

尝试连接到Windows Server时,您可能会遇到远程桌面服务当前忙的错误。 Windows Server设置和用户设备都可能是此错误的原因。无论原因是什么,php.cn都可以帮助您

修复:扫描病毒时窗户关闭修复:扫描病毒时窗户关闭May 02, 2025 am 12:48 AM

Windows在扫描病毒时会关闭? Windows Defender的完整扫描会使PC关闭?当这个问题发生时该怎么办?在PHP.CN的这篇文章中,您将学习一些可行的解决方案。

网络错误消息出现在chatgpt中?尝试7种修复方法! -  Minitool网络错误消息出现在chatgpt中?尝试7种修复方法! - MinitoolMay 02, 2025 am 12:47 AM

CHATGPT网络错误是编写代码或AI编写长答案时可能发生的常见问题。如果您遇到此问题,该怎么办?不用担心,尝试在这篇文章中使用PHP.CN收集的几种方式来轻松获取

修复Windows Update Check为更新灰色修复Windows Update Check为更新灰色May 02, 2025 am 12:44 AM

获取Windows更新的一种方法是单击Windows Update中的“检查更新”按钮。但是,如果检查更新按钮的检查是灰色的,您知道要解决问题吗?在这篇文章中,PHP.CN软件将引入一些甲基苯丙胺

完整的固定前景指南,而不是节省胜利的选秀完整的固定前景指南,而不是节省胜利的选秀May 02, 2025 am 12:43 AM

Outlook草稿电子邮件通常存储在草稿文件夹中。但是,有时您可能会遇到“ Outlook不保存草稿”的问题。在这种情况下,您应该如何找到电子邮件草案并处理此问题?在这篇文章中

iCloud邮件登录/注册|如何访问iCloud邮件PC/Android -MinitooliCloud邮件登录/注册|如何访问iCloud邮件PC/Android -MinitoolMay 02, 2025 am 12:42 AM

这篇文章提供了iCloud邮件登录和注册指南。您可以创建一个免费的iCloud邮件帐户来使用它来在网络或任何设备上发送或接收电子邮件。还包括有关如何在Windows 10/11或Android上访问iCloud邮件的说明。

下载并安装Windows ADK用于Windows [完整版本] -Minitool下载并安装Windows ADK用于Windows [完整版本] -MinitoolMay 02, 2025 am 12:41 AM

当您尝试提供Windows 11/10时,您需要Windows ADK(Windows评估和部署套件)的相应版本来帮助您完成任务。这篇来自PHP.CN的帖子会教您如何下载和安装Windows ADK。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器