Node.js實作壓縮和解壓縮
- 小云云原創
- 2018-02-22 09:46:032244瀏覽
壓縮格式
zip 和 gzip 是我們最常見到的兩種壓縮格式，當然，gzip 在 Windows 下很少有人接觸。 tar 是一種歸檔格式，它預設不會壓縮，需要結合 gzip 來將最終的 tar 檔案以 gzip 格式壓縮成為一個 tar.gz 文件，通常我們會縮寫為 tgz。
為什麼沒有提到 rar？因為它是專利保護的演算法，你可以免費獲得解壓縮工具，而壓縮工具是需要付費的。所以我們一般應用場景下，很少會提供 rar 壓縮檔。
本文將分別介紹 gzip，tar，tgz 和 zip 的壓縮和解壓縮在 Node.js 下如何實作。
未壓縮檔案庫
本文所使用的未壓縮檔案庫來自於 urllib ，需要先 clone 它下來到指定目錄。
git clone https://github.com/node-modules/urllib.git nodejs-compressing-demo
gzip
在Linux 的世界，每個工具的職責會很純粹，非常單一，如gzip，它只會對文件進行壓縮，至於文件夾如何打包壓縮，跟它沒關係，那是tar 要負責的事。
gzip 命令列壓縮一個檔案
例如我們要將nodejs-compressing-demo/lib/urllib.js 檔案進行gzip 壓縮，會得到一個urllib.js .gz 文件，來源檔案會被刪除。
$ ls -l nodejs-compressing-demo/lib/urllib.js -rw-r--r-- 1 a a 31318 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js $ gzip nodejs-compressing-demo/lib/urllib.js $ ls -l nodejs-compressing-demo/lib/urllib.js.gz -rw-r--r-- 1 a a 8909 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js.gz # 还原压缩文件 $ gunzip nodejs-compressing-demo/lib/urllib.js.gz
檔案大小從 31318 位元組減少到 8909 位元組，超過 3.5 倍的壓縮效果。
也可以透過pipe 方式，結合cat 指令，將檔案壓縮並儲存為任意檔案：
$ ls -l nodejs-compressing-demo/README.md -rw-r--r-- 1 a a 13747 Feb 12 11:27 nodejs-compressing-demo/README.md $ cat nodejs-compressing-demo/README.md | gzip > README.md.gz $ ls -l README.md.gz -rw-r--r-- 1 a a 4903 Feb 12 11:50 README.md.gz
Node.js 實作gzip
當然，我們不會真的從零開始實作一個gzip 演算法和工具，在Node.js 的世界，早已有人為你準備好這些基礎函式庫，我們只需要開箱即用。
本文將會使用 compressing 模組，實作所有壓縮和解壓縮程式碼。
為什麼會選擇 compressing？因為它有足夠的程式碼品質和單元測試保證，處於活躍的維護狀態，API 非常友好，而且還支援串流介面。
Promise 介面
const compressing = require('compressing');
// 选择 gzip 格式，然后调用 compressFile 方法
compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js', 'nodejs-compressing-demo/lib/urllib.js.gz')
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});
// 解压缩是反响过程，接口都统一为 uncompress
compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz', 'nodejs-compressing-demo/lib/urllib.js2')
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});結合 async/await 的程式設計模型，程式碼寫起來就是一個普通的非同步 io 操作。
const compressing = require('compressing');
async function main() {
try {
await compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js',
'nodejs-compressing-demo/lib/urllib.js.gz');
console.log('success');
} catch (err) {
console.error(err);
}
// 解压缩
try {
await compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz',
'nodejs-compressing-demo/lib/urllib.js2');
console.log('success');
} catch (err) {
console.error(err);
}
}
main();Stream 介面
#需要特別注意的是，使用Stream 模式編程，需要處理每個stream 的error 事件，並且要手動銷毀所有stream 。
fs.createReadStream('nodejs-compressing-demo/lib/urllib.js') .on('error', handleError) .pipe(new compressing.gzip.FileStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2')) .on('error', handleError); // 解压缩，就是 pipe 的方向倒转过来 fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2') .on('error', handleError) .pipe(new compressing.gzip.UncompressStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3')) .on('error', handleError);
根據官方的Backpressuring in Streams 推薦，我們應該使用 pump 模組來配合 Stream 模式編程，由 pump 來完成這些 Stream 的清理工作。
const pump = require('pump');
const source = fs.createReadStream('nodejs-compressing-demo/lib/urllib.js');
const target = fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2');
pump(source, new compressing.gzip.FileStream(), target, err => {
if (err) {
console.error(err);
} else {
console.log('success');
}
});
// 解压缩
pump(fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2'),
new compressing.gzip.FileStream(),
fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'),
err => {
if (err) {
console.error(err);
} else {
console.log('success');
}
});Stream 介面的優點
Stream 介面看起來比Promise 介面複雜多了，為何還會有這種應用場景呢？
其實在HTTP 服務領域，Stream 模型會有更大的優勢，因為HTTP 請求本身就是一個Request Stream，如要將一個上傳檔案以gzip 壓縮返回，使用Stream 介面不需要將上傳檔案儲存到本地磁碟，而是直接消費這個檔案流。
使用 egg 檔案上傳的範例程式碼 ，我們稍微改造一下，就能實現 gzip 壓縮然後返回。
const pump = require('pump');
class UploadFormController extends Controller {
// ... other codes
async upload() {
const stream = await this.ctx.getFileStream();
// 直接将压缩流赋值给 ctx.body，实现边压缩边返回的流式响应
this.ctx.body = pump(stream, new compressing.gzip.FileStream());
}
}tar | gzip > tgz
gzip 章節可以事先知道，tar 是負責對資料夾進行打包:package :的。
例如要對 nodejs-compressing-dem o 整個資料夾打包成一個檔案傳送給別人，可以透過 tar 指令完成。
$ tar -c -f nodejs-compressing-demo.tar nodejs-compressing-demo/ $ ls -l nodejs-compressing-demo.tar -rw-r--r-- 1 a a 206336 Feb 12 14:01 nodejs-compressing-demo.tar
如大家所見，tar 打包出來的檔案一般都比較大，因為它是未壓縮的，大小跟實際資料夾總大小接近。所以我們都會在打包同時進行壓縮。
$ tar -c -z -f nodejs-compressing-demo.tgz nodejs-compressing-demo/ $ ls -l nodejs-compressing-demo.tgz -rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-compressing-demo.tgz
tar 和 tgz 超過 5 倍大小的差異，可以大幅減少網路傳輸頻寬。
Node.js 實作tgz
Promise 介面
先使用compressing.tar.compressDir(sourceDir, targetFile) 將一個資料夾打包到一個tar 文件，然後使用上文的gzip 壓縮方式，將tar 檔案壓縮為tgz 檔案。
const compressing = require('compressing');
compressing.tar.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.tar')
.then(() => {
return compressing.gzip.compressFile('nodejs-compressing-demo.tar',
'nodejs-compressing-demo.tgz');
});
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});
// 解压缩
compressing.gzip.uncompress('nodejs-compressing-demo.tgz', 'nodejs-compressing-demo.tar')
.then(() => {
return compressing.tar.uncompress('nodejs-compressing-demo.tar',
'nodejs-compressing-demo2');
});
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});結合async/await 的程式設計模型，程式碼寫起來會更容易閱讀：
##
const compressing = require('compressing');
async function main() {
try {
await compressing.tar.compressDir('nodejs-compressing-demo',
'nodejs-compressing-demo.tar');
await compressing.gzip.compressFile('nodejs-compressing-demo.tar',
'nodejs-compressing-demo.tgz');
console.log('success');
} catch (err) {
console.error(err);
}
// 解压缩
try {
await compressing.gzip.uncompress('nodejs-compressing-demo.tgz',
'nodejs-compressing-demo.tar');
await compressing.tar.uncompress('nodejs-compressing-demo.tar',
'nodejs-compressing-demo2');
console.log('success');
} catch (err) {
console.error(err);
}
}
main();
#Stream 介面
透過compressing.tar.Stream 類，可以動態新增任意檔案、資料夾到一個tar stream 物件中，非常靈活。const tarStream = new compressing.tar.Stream();
// dir
tarStream.addEntry('dir/path/to/compress');
// file
tarStream.addEntry('file/path/to/compress');
// buffer
tarStream.addEntry(buffer);
// stream
tarStream.addEntry(stream);
const destStream = fs.createWriteStream('path/to/destination.tgz');
pump(tarStream, new compressing.gzip.FileStream(), destStream, err => {
if (err) {
console.error(err);
} else {
console.log('success');
}
});
zip
zip 其實可以看作是tar + gzip 的「商業化」結合，它讓使用者不要區分是壓縮檔案還是壓縮資料夾，反正用我zip 就對了。 使用zip 命令列工具壓縮一個資料夾的範例：$ zip -r nodejs-compressing-demo.zip nodejs-compressing-demo/ adding: nodejs-compressing-demo/ (stored 0%) adding: nodejs-compressing-demo/test/ (stored 0%) ... adding: nodejs-compressing-demo/.travis.yml (deflated 36%) $ ls -l nodejs-compressing-demo.* -rw-r--r-- 1 a a 206336 Feb 12 14:06 nodejs-compressing-demo.tar -rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-compressing-demo.tgz -rw-r--r-- 1 a a 55484 Feb 12 14:34 nodejs-compressing-demo.zip透過tgz 和zip 檔案大小對比，可以看出預設的壓縮參數下，gzip 的效果會比zip 好。
Node.js 實作 zip#
实现代码跟 tar 类似，只不过默认是压缩的，不需要再添加 gzip 的过程。
const compressing = require('compressing');
compressing.zip.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.zip')
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});
// 解压缩
compressing.zip.uncompress('nodejs-compressing-demo.zip', 'nodejs-compressing-demo3')
.then(() => {
console.log('success');
})
.catch(err => {
console.error(err);
});总结
基于 Node.js 实现的压缩和解压缩是否比想象中简单？感谢 npm 这个巨人，让我们编程也能拥有命令行工具那样简单的体验。
无论是 Promise 接口，还是 Stream 接口，都有它最合适的场景，你会选择了吗？
到此，你拥有的压缩和解压缩能力，你能够做什么样的服务和功能呢？
相关推荐：
以上是Node.js實作壓縮和解壓縮的詳細內容。更多資訊請關注PHP中文網其他相關文章！