首页 >后端开发 >Golang >GCS 上传用于 Go SDK 中的分块?

GCS 上传用于 Go SDK 中的分块?

王林
王林转载
2024-02-12 18:36:081041浏览

GCS 上传用于 Go SDK 中的分块?

php小编柚子就GCS 上传用于 Go SDK 中的分块这个话题为大家简要介绍一下。GCS(Google Cloud Storage)是谷歌云平台提供的对象存储服务,可以用于存储和访问大量的非结构化数据。在使用 GCS 进行文件上传时,如果文件较大,可以使用分块上传的方式,这样可以提高上传的速度和稳定性。Go SDK 提供了相应的接口和方法,可以方便地实现分块上传的功能。通过这种方式,开发者可以更灵活地处理大文件的上传操作。

问题内容

我正在尝试使用 gcs writer 上传大文件:

bucketHandle := m.Client.Bucket(bucket)
    objectHandle := bucketHandle.Object(path)
    writer := objectHandle.NewWriter(context.Background())

然后对于大小为 n 的块,我调用 writer.write(mybuffer)。我在集群上看到一些内存不足的异常,并想知道这是否实际上只是将整个文件缓冲到内存中。这个操作的语义是什么,我是否误解了什么?

解决方法

是的,在代码中的每次 Write 调用之后,数据都会刷新到 GCS。 Write 方法返回写入的字节数、遇到的任何错误以及实际写入底层连接的字节数。每个块写入后,数据都会刷新到 GCS,因此客户端消耗的内存量应限制在缓冲区的大小内,在您的实例中,如果您将输入数据分块为 5 MB,则缓冲区的大小为 5 MB块并在循环中使用 Write。

以上是GCS 上传用于 Go SDK 中的分块?的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:stackoverflow.com。如有侵权,请联系admin@php.cn删除