Erfahren Sie mehr über Zero-Copy in Linux und Java

                                                                                                     

Linux Traditional IO

Hallo zusammen, ich bin ein Datenstück, das auf einer Linux-Festplatte liegt. Um mich nun von der Festplatte zur Netzwerkkarte zu senden, muss ich die folgenden Schritte ausführen:

Lesevorgang

Wie oben gezeigt: Der Speicher des Betriebssystems ist in Kernelraum und Benutzerraum unterteilt. Erstens initiieren Anwendungen im Benutzerbereich Datenlesevorgänge, z. B. JVM, die read()-Systemaufrufe initiieren. Zu diesem Zeitpunkt führt das Betriebssystem einen Kontextwechsel durch: Wechsel vom Benutzerbereich zum Kernelbereich.

Dann benachrichtigt der Kernel-Space die Festplatte und der Kernel kopiert mich von der Festplatte in den Kernel-Puffer. Dieser Vorgang wird von einer Hardware namens „DMA (Direct Memory Access)“ durchgeführt und erfordert daher keine Beteiligung der CPU.

Dann kopiert mich der Kernel vom Kernel-Puffer in den Anwendungspuffer, was die Beteiligung der CPU erfordert.

Abschließend wird der Kontextwechsel durchgeführt und der Kontext zurück in den Benutzerbereich umgeschaltet.

Der gesamte Lesevorgang erfordert zwei Kontextwechsel und zwei Kopien .

Verwandte Lernempfehlungen: Java-Video-Tutorial

Schreibvorgang

Schreibvorgang Es ähnelt dem Lesevorgang, erfordert jedoch immer noch zwei Kontextwechsel und zwei Datenkopien. Es kann sein, dass ich auf die Festplatte oder auf die Netzwerkkarte geschrieben werde.

Speicherzuordnung

Wie Sie aus dem obigen Prozess ersehen können, wenn Sie mich von der Festplatte an das Netzwerk senden möchten Karte benötigen Sie insgesamt 4 Kontextwechsel- und 4 Kopiervorgänge. Ich wurde vom Betriebssystem zwischen Kernel-Space und User-Space hin und her kopiert, aber tatsächlich habe ich in dieser Zeit nichts getan, nichts geändert, es wurde nur kopiert, also war dieses IO-Modell eine Verschwendung von Betriebssystemressourcen, und das war ich auch So oft kopiert, körperlich und geistig erschöpft. Darüber hinaus sind die Ressourcen des Betriebssystems sehr wertvoll~

Heutzutage verwenden Mainstream-Betriebssysteme virtuellen Speicher. Um es einfach auszudrücken: Verwenden Sie die virtuelle Adresse anstelle der physischen Adresse . Dadurch können mehrere virtuelle Speicher nur dieselbe physische Adresse benötigen, und der virtuelle Speicherplatz kann viel größer sein als der physische Speicherplatz.

Wenn das Betriebssystem den Anwendungspuffer im Benutzerbereich und den Kernel-Puffer im Kernelbereich derselben physischen Adresse zuordnen kann, würden dann nicht viele Kopiervorgänge entfallen? Wie unten gezeigt:

Linux Zero Copy

Um dieses Problem zu lösen, haben kluge Linux-Entwickler einige neue Systemaufrufe geschrieben sind dazu gemacht. Es gibt zwei Hauptmethoden:

• mmap + write
• sendfile

mmap + write

mmap()Der Systemaufruf verwendet zuerst die DMA-Kopie, um von der Festplatte in den Kernel-Puffer zu lesen, und verwendet dann die Speicherzuordnung, um die Speicheradressen des Benutzerpuffers und des Kernel-Lesepuffers auf dieselbe Speicheradresse zu bringen Sagen wir, die CPU muss mich nicht vom Kernel-Lesepuffer in den Benutzerpuffer kopieren!

Bei Verwendung des write()-Systemaufrufs schreibt die CPU direkt aus dem Kernel-Puffer (entspricht dem Benutzerpuffer) in den Kernel-Puffer, der gesendet werden muss, z. B. beim -Netzwerksenden Puffer (Socket-Puffer) und übergeben Sie ihn dann über DMA an den Netzwerkkartentreiber (oder die Festplatte), um ihn für den Versand vorzubereiten.

Das Lesen und Schreiben von Daten mit mmap + write erfordert insgesamt zwei Systemaufrufe, 4 Kontextwechsel, 2 DMA-Kopie und 1 CPU-Kopie.

sendfile

sendfile ist ebenfalls ein Systemaufruf. Es kombiniert im Wesentlichen die Funktionen der beiden oben genannten Systemaufrufe. Dies hat den Vorteil, dass das Betriebssystem nur zwei Kontextwechsel benötigt, wodurch der Overhead von zwei Kontextwechseln reduziert wird.

Erfahren Sie mehr über Zero-Copy in Linux und Java

Der Linux 2.4-Kernel optimiert die Sendedatei und stellt den Gather-Vorgang bereit. Dieser Vorgang kann die letzte CPU-Kopie im obigen Bild entfernen. Das Prinzip besteht nicht darin, die Daten zu kopieren. Stattdessen werden die Speicheradresse und der Offset-Datensatz der Daten im vorherigen Kernel-Puffer (z. B. der Lesepuffer im Fall in der Abbildung) an den Ziel-Kernel-Puffer (z. B. der Socket-Puffer im Fall in der Abbildung) gesendet. , so dass im letzten DMA In der Kopierphase können Sie diesen Zeiger verwenden, um die Daten direkt zu kopieren.

Java NIO verwendet Zero Copy

Die Zero Copy von Linux kann tatsächlich einige Betriebssystemressourcen einsparen. Daher stellt Javas NIO einige Klassen bereit, um Nullkopien zu unterstützen:

• DirectByteBuffer
• FileChannel

Im vorherigen „Java NIO – Buffer“ Dies Der Artikel stellt DirectByteBuffer kurz vor. Es gibt zwei Hauptimplementierungen von ByteBuffer: eine ist DirectByteBuffer und die andere ist HeapByteBuffer.

Unter diesen weist DirectByteBuffer Speicher direkt außerhalb des Heaps zu, und die unterste Ebene ruft den NIO-Systemaufruf des Betriebssystems direkt über JNI auf, sodass die Leistung relativ hoch ist. Der HeapByteBuffer ist ein In-Heap-Speicher und die Daten müssen noch einmal kopiert werden, sodass die Leistung relativ gering ist.

FileChannel ist eine von Java NIO bereitgestellte Klasse zum Kopieren von Dateien. Sie kann Dateien auf die Festplatte oder ins Netzwerk usw. kopieren.

mapDie Methode verwendet tatsächlich die Speicherzuordnungsmethode im Betriebssystem, um den Speicher des Kernelpuffers und den Speicher des Benutzerpuffers einer Adresse zuzuordnen. Die Methode

transferTo überträgt den aktuellen Kanalinhalt direkt auf einen anderen Kanal, was bedeutet, dass bei dieser Methode nicht das Problem des Lesens und Schreibens vom Kernelpuffer in den Benutzerpuffer besteht. Die unterste Ebene ist der Systemaufruf sendfile. transferFromDie Methode ist die gleiche.

Beispielcode:

File file = new File("test.txt");RandomAccessFile raf = new RandomAccessFile(file, "rw");FileChannel fileChannel = raf.getChannel();SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 8080));// 直接使用了transferTo()进行通道间的数据传输fileChannel.transferTo(0, fileChannel.size(), socketChannel);

Autor: Public account_xy’s Technology Circle

Link: www.imooc.com/article/289550

Quelle: MOOC.com

Der obige Inhalt stammt von MOOC.com

Ein anderes Verständnis von Zero Copy

1. Zero Copy stammt aus der Operation From eine Systemperspektive. Da keine Daten zwischen Kernelpuffern dupliziert werden (nur der Kernelpuffer verfügt über eine Datenkopie).

2. Zero Copy führt nicht nur zu weniger Datenkopien, sondern bringt auch andere Leistungsvorteile mit sich, wie z. B. weniger Kontextwechsel, weniger CPU-Cache-Pseudo-Sharing und keine CPU-Prüfsummenberechnung.

Der Unterschied zwischen mmap und sendFile

1. mmap eignet sich zum Lesen und Schreiben kleiner Datenmengen und sendFile eignet sich für große Dateiübertragungen.

2. mmap erfordert 4 Kontextwechsel und 3 Datenkopien; sendFile erfordert 3 Kontextwechsel und mindestens 2 Datenkopien.

3. sendFile kann DMA verwenden, um das CPU-Kopieren zu reduzieren, mmap jedoch nicht (es muss vom Kernel in den Socket-Puffer kopiert werden).

Das obige ist der detaillierte Inhalt vonErfahren Sie mehr über Zero-Copy in Linux und Java. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!