Sechs Bilder erklären die Zero-Copy-Technologie von Linux anschaulich

Hallo zusammen, heute lasst uns über die Linux-Zero-Copy-Technologie sprechen. Wir werden den Systemaufruf sendfile als Einstiegspunkt verwenden, um die Grundprinzipien der Zero-Copy-Technologie eingehend zu untersuchen. Die Kernidee der Zero-Copy-Technologie besteht darin, das Kopieren von Daten zwischen Speichern zu minimieren und die Effizienz und Leistung der Datenübertragung durch Optimierung des Datenübertragungspfads zu verbessern.

1. Einführung in die Zero-Copy-Technologie

Die Linux-Zero-Copy-Technologie ist eine Technologie zur Optimierung der Datenübertragung. Sie verbessert die Effizienz der Datenübertragung, indem sie die Anzahl der Datenkopien zwischen Kernelmodus und Benutzermodus reduziert.

Während des Datenübertragungsprozesses ist es normalerweise erforderlich, die Daten vom Kernel-Puffer in den Anwendungspuffer und dann vom Anwendungspuffer in den Puffer des Netzwerkgeräts zu kopieren, bevor der Versand abgeschlossen werden kann.

Der Vorteil der Zero-Copy-Technologie besteht darin, dass Daten direkt übertragen werden können, ohne dass zwischenzeitliche Kopierschritte erforderlich sind, was zur Verbesserung der Effizienz der Datenübertragung beiträgt.

Implementierung der Linux Zero-Copy-Technologie:

• sendfile-Systemaufruf: Der sendfile-Systemaufruf kann den Dateiinhalt direkt an den Puffer des Netzwerkgeräts im Kernel-Status senden und so das Kopieren von Daten zwischen dem Benutzerstatus und dem Kernel-Status vermeiden.
• Spleißsystemaufruf: Der Spleißsystemaufruf kann Daten direkt von einem Dateideskriptor an einen anderen Dateideskriptor übertragen oder auch Daten von einem Dateideskriptor an den Puffer eines Netzwerkgeräts übertragen, wodurch der Zwischenkopiervorgang vermieden wird.
• mmap- und Schreibsystemaufrufe: Der mmap-Systemaufruf kann Dateien im Speicher zuordnen und dann den Schreibsystemaufruf verwenden, um die Daten im Speicher direkt an den Puffer des Netzwerkgeräts zu senden, wodurch das Kopieren von Daten zwischen Benutzermodus und Kernel vermieden wird Modus.
• DMA (Direct Memory Access): DMA ist eine Hardwaretechnologie, die Daten direkt vom Speicher in den Puffer eines Netzwerkgeräts übertragen kann, wodurch CPU-Eingriffe vermieden und die Effizienz der Datenübertragung verbessert werden.

2.sendfile-Systemaufruf

Der sendfile-Systemaufruf kann Dateidaten direkt im Kernelraum übertragen. Dazu werden Daten von einem Dateideskriptor in den Sendepuffer eines anderen Dateideskriptors kopiert. Auf diese Weise können Daten direkt über den Netzwerkprotokollstapel gesendet werden, wodurch häufige Datenkopiervorgänge zwischen Benutzerraum und Kernelraum vermieden werden.

Dadurch wird das Kopieren von Daten zwischen dem Kernel und dem Benutzerbereich vermieden und die Übertragungseffizienz verbessert.

Sendfile-Systemaufruffunktionsprototyp:

#include 
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

参数说明：
out_fd：目标文件描述符，用于发送数据。
in_fd：源文件描述符，从该文件读取数据。
offset：指定从源文件的哪个位置开始读取数据，可以为NULL表示从当前位置开始。
count：要传输的字节数。

返回值：
成功：返回写入out_fd文件的字节数。
失败：返回-1，并设置errno。

3.sendfile-Implementierungsprinzip

3.1 Dateien über die herkömmliche Methode senden

Um eine Datei mit der herkömmlichen Methode über einen Socket zu senden, müssen wir einen relativ langen Pfad ausführen.

Pfad: Festplatte->Dateiseiten-Cache->Benutzerpuffer->Socket-Puffer->Netzwerkkarte.

Die Situation beim Kontextwechsel und beim Kopieren des Speichers ist wie folgt:

• Kontextwechsel: 4 Mal (Aufruf lesen, Rückgabe lesen, Aufruf schreiben, Rückgabe schreiben)
• DMA-Kopie: 2 Mal
• CPU-Kopie: 2 Mal (Dateiseiten-Cache -> Benutzerpuffer, Benutzerpuffer -> Socket-Puffer)

Bilder

3.2 sendfile sendet Dateien

Verwenden Sie sendfile, um Dateien zu senden. Der gesamte Pfad ist relativ kürzer.

Pfad: Festplatte->Dateiseiten-Cache->Socket-Puffer->Netzwerkkarte.

Die Situation beim Kontextwechsel und beim Kopieren des Speichers ist wie folgt:

Kontextwechsel: 2 Mal (Sendfile-Aufruf, Sendfile-Rückgabe)

DMA-Kopie: 2 Mal

CPU-Kopie: 1 Mal (Dateiseiten-Cache -> Socket-Puffer)

Bilder

3.3 Sendfile-Implementierungsprinzip

Der Kern der Sendfile-Implementierung sind Pipes, die in Linux-Systemen weit verbreitet sind, beispielsweise für die Kommunikation zwischen Prozessen über Pipes.

Wenn Dateidaten in den Socket-Puffer kopiert werden müssen, wird vorübergehend eine Pipe (Ringpuffer) erstellt, die Dateidaten werden zuerst in die Pipe kopiert und dann werden die Pipe-Daten in den Socket-Puffer migriert ist keine Datenkopie, sondern ein Zeiger auf die Speicheradresse.

Bilder

3.4 Abschnitte

Durch die Verwendung von sendfile zum Senden von Dateien können wir zwei Kontextwechsel und eine CPU-Kopie reduzieren. Wenn unser tatsächliches Anwendungsszenario das Senden einer großen Anzahl von Dateien erfordert, kann die Verwendung von sendfile die Systemleistung erheblich verbessern.

4. Pipeline

4.1 Pipeline-Einführung

Pipes werden in Linux-Systemen häufig verwendet. Neben der Zero-Copy-Technologie werden auch Pipes für die Kommunikation zwischen Prozessen verwendet.

Bilder

Was ist eine Pipeline?

Eine Pipe ist eigentlich ein Ringpuffer, über den Daten von einer Datei in eine andere kopiert werden können.

Die Pipe wird durch die Struktur struct pipe_inode_info definiert. Diese Datenstruktur hat 4 wichtige Mitglieder:

• pipe_buffer: Pipe-Puffer-Array, ein Array mit fester Länge, jedes Array-Mitglied ist ein Puffer, entsprechend einer Struktur-Pipe_buffer-Struktur.
• Kopf: Seriennummer des Kopfes, die den Speicherort des aktuell beschreibbaren Puffers angibt, der in Verbindung mit der Maske verwendet werden muss.
• tail: Tail-Seriennummer, die die Position des aktuell lesbaren Puffers angibt und in Verbindung mit der Maske verwendet werden muss.
• ring_size: Länge des Pipe-Puffer-Arrays, ring_size – 1 berechnet die Maske, Kopf und Maske erhalten den aktuellen beschreibbaren Index des Puffer-Arrays, Schwanz und Maske erhalten den aktuellen lesbaren Index des Puffer-Arrays.

Der Pipe-Puffer wird durch die Struktur pipe_buffer definiert, die drei wichtige Mitglieder hat:

• Seite: Seitenzeiger
• Offset: Datenoffset auf der Seite
• len: Datenlänge

Beurteilen Sie, ob die Pfeife voll oder leer ist?

Beurteilung, dass die Pipeline voll ist:

head – tail >= ring_size, was anzeigt, dass die Pipe voll ist.

Beurteilen Sie, ob das Rohr leer ist:

Kopf == Schwanz, was anzeigt, dass das Rohr leer ist.

Das obige ist der detaillierte Inhalt vonSechs Bilder erklären die Zero-Copy-Technologie von Linux anschaulich. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!