GCS-Upload für Chunking im Go SDK?

php-Editor Youzi gibt Ihnen eine kurze Einführung in das Thema GCS-Upload für Chunking im Go SDK. GCS (Google Cloud Storage) ist ein von der Google Cloud Platform bereitgestellter Objektspeicherdienst, mit dem große Mengen unstrukturierter Daten gespeichert und darauf zugegriffen werden kann. Wenn Sie GCS zum Hochladen von Dateien verwenden und die Datei groß ist, können Sie die Chunked-Upload-Methode verwenden, um die Upload-Geschwindigkeit und -Stabilität zu verbessern. Go SDK bietet entsprechende Schnittstellen und Methoden zur einfachen Implementierung der mehrteiligen Upload-Funktion. Auf diese Weise können Entwickler große Datei-Upload-Vorgänge flexibler handhaben.

Frageninhalt

Ich versuche, mit dem GCS-Writer große Dateien hochzuladen:

bucketHandle := m.Client.Bucket(bucket)
    objectHandle := bucketHandle.Object(path)
    writer := objectHandle.NewWriter(context.Background())

Dann für die Größe n 的块，我调用 writer.write(mybuffer). Ich sehe einige Ausnahmen wegen unzureichendem Arbeitsspeicher im Cluster und frage mich, ob dadurch tatsächlich nur die gesamte Datei im Speicher gepuffert wird. Was ist die Semantik dieser Operation und habe ich etwas falsch verstanden?

Workaround

Ja, die Daten werden nach jedem Write-Aufruf im Code an GCS geleert. Die Write-Methode gibt die Anzahl der geschriebenen Bytes, aufgetretene Fehler und die Anzahl der tatsächlich in die zugrunde liegende Verbindung geschriebenen Bytes zurück. Die Daten werden nach dem Schreiben jedes Blocks in GCS geleert, daher sollte die vom Client verbrauchte Speichermenge auf die Größe des Puffers beschränkt sein. Wenn Sie in Ihrem Fall die Eingabedaten in 5 MB aufteilen, beträgt die Größe des Puffers 5 MB Chunks und verwenden Sie Write in einer Schleife.

Das obige ist der detaillierte Inhalt vonGCS-Upload für Chunking im Go SDK?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!