如何正确读取通过 gzip.Writer 写入临时文件的压缩数据

云瑶酱_1305

云瑶酱_1305

2026-10-17

796人浏览

原创

如何正确读取通过 gzip.Writer 写入临时文件的压缩数据

ioutil.ReadAll() 读不到数据,是因为 gzip.Writer 缓冲未刷新、文件未关闭且未重新打开;必须先关闭 gzip.Writer 和底层文件,再以只读方式重新打开才能准确读取压缩后的内容。

如何正确读取通过 gzip.writer 写入临时文件的压缩数据 —— `ioutil.readall()` 读不到数据,是因为 `gzip.writer` 缓冲未刷新、文件未关闭且未重新打开;必须先关闭 `gzip.writer` 和底层文件,再以只读方式重新打开才能准确读取压缩后的内容。

在 Go 中使用 compress/gzip 向临时文件写入数据时,一个常见误区是:误以为调用 w.Write() 后数据已立即落盘。实际上,gzip.Writer 是带缓冲的包装器,它不会立即将压缩后的字节写入底层 io.Writer(即文件),而是暂存在内部缓冲区中,直到显式调用 w.Close() 才完成压缩、刷新剩余数据并关闭底层写入流。

此外,Go 的文件句柄(*os.File)在写入模式下无法直接切换为读取模式(即使调用 file.Seek(0, 0) 也无效),因为操作系统层面的文件指针状态与 gzip.Writer 的内部状态不一致。因此,正确的流程必须是:

  1. ✅ 调用 gzip.Writer.Close() —— 确保所有压缩数据被写出并刷新到底层文件;
  2. ✅ 调用 *os.File.Close() —— 释放写入句柄,避免资源占用;
  3. ✅ 使用 os.Open() 以只读方式重新打开同一文件路径 —— 获取干净的读取句柄;
  4. ✅ 再调用 ioutil.ReadAll()(或更推荐的 io.ReadAll(),因 ioutil 已弃用)读取完整内容。

以下是修正后的完整示例(适配 Go 1.16+,使用 io.ReadAll 替代已弃用的 ioutil.ReadAll):

package main

import (
    "compress/gzip"
    "fmt"
    "io"
    "os"
    "os/exec"
)

func main() {
    filename := "test"
    file, err := os.CreateTemp("", filename+"-*.gz") // 推荐用 CreateTemp + 模板,更安全
    if err != nil {
        panic(err)
    }
    tempPath := file.Name()
    defer func() {
        if err := os.Remove(tempPath); err != nil {
            fmt.Println("cleanup failed:", err)
        }
    }()

    // 写入压缩数据
    w := gzip.NewWriter(file)
    _, err = w.Write([]byte("hello")) // 注意:原示例中是 "hell0"(数字0),此处修正为字母o便于验证
    if err != nil {
        panic(err)
    }
    if err := w.Close(); err != nil { // 关键:刷新并关闭 gzip.Writer
        panic(err)
    }
    if err := file.Close(); err != nil { // 关键:关闭底层文件写入句柄
        panic(err)
    }

    // 重新打开文件进行读取
    file, err = os.Open(tempPath)
    if err != nil {
        panic(err)
    }
    defer file.Close()

    // 读取原始压缩字节(非解压!)
    compressedBytes, err := io.ReadAll(file)
    if err != nil {
        panic(err)
    }

    // 验证:文件大小与读取长度一致
    fileInfo, _ := file.Stat()
    fmt.Printf("File size (bytes): %d\n", fileInfo.Size())
    fmt.Printf("Read bytes length: %d\n", len(compressedBytes))
    fmt.Printf("First 10 bytes (hex): %x\n", compressedBytes[:min(10, len(compressedBytes))])
}

func min(a, b int) int {
    if a <p>⚠️ <strong>注意事项</strong>:</p>
  • 不要重复调用 w.Close() —— 示例答案中末尾多余的一次 w.Close() 会导致 panic(close of closed channel 或类似错误),应仅调用一次;
  • ioutil 包自 Go 1.16 起已弃用,请优先使用 io.ReadAll;
  • 若需解压读取内容(即得到 "hello" 字符串),应使用 gzip.NewReader() 包装 *os.File 后再读取,而非直接读取压缩字节;
  • os.CreateTemp 比 ioutil.TempFile 更现代(后者在 Go 1.20+ 中已标记为 deprecated),且建议使用带扩展名的模板(如 "test-*.gz")提升可读性与调试便利性。

总结:Gzip 写入 ≠ 即时落盘;读取前务必确保压缩完成、文件关闭、句柄重开 —— 这是 Go 中流式压缩/解压缩操作的核心契约。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Go中Type关键字的用法
Go中Type关键字的用法

Go中Type关键字的用法有定义新的类型别名或者创建新的结构体类型。本专题为大家提供Go相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.06

2809

5

go怎么实现链表
go怎么实现链表

go通过定义一个节点结构体、定义一个链表结构体、定义一些方法来操作链表、实现一个方法来删除链表中的一个节点和实现一个方法来打印链表中的所有节点的方法实现链表。

2023.09.25

5607

6

go语言编程软件有哪些
go语言编程软件有哪些

go语言编程软件有Go编译器、Go开发环境、Go包管理器、Go测试框架、Go文档生成器、Go代码质量工具和Go性能分析工具等。本专题为大家提供go语言相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.13

702

5

0基础如何学go语言
0基础如何学go语言

0基础学习Go语言需要分阶段进行,从基础知识到实践项目,逐步深入。php中文网给大家带来了go语言相关的教程以及文章,欢迎大家前来学习。

2023.10.26

7365

20

Go语言实现运算符重载有哪些方法
Go语言实现运算符重载有哪些方法

Go语言不支持运算符重载,但可以通过一些方法来模拟运算符重载的效果。使用函数重载来模拟运算符重载,可以为不同的类型定义不同的函数,以实现类似运算符重载的效果,通过函数重载,可以为不同的类型实现不同的操作。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

2636

5

Go语言中的运算符有哪些
Go语言中的运算符有哪些

Go语言中的运算符有:1、加法运算符;2、减法运算符;3、乘法运算符;4、除法运算符;5、取余运算符;6、比较运算符;7、位运算符;8、按位与运算符;9、按位或运算符;10、按位异或运算符等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.02.23

2864

5

go语言开发工具大全
go语言开发工具大全

本专题整合了go语言开发工具大全,想了解更多相关详细内容,请阅读下面的文章。

2025.06.11

6339

12

go语言引用传递
go语言引用传递

本专题整合了go语言引用传递机制,想了解更多相关内容,请阅读专题下面的文章。

2025.06.26

4037

12

go语言版本升级
go语言版本升级

本专题整合了go语言版本升级方法,想了解更多相关内容,请阅读专题下面的文章。

2025.06.27

7310

16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.7万人学习