java - Bagaimana untuk menyahmampat data dalam beberapa blok data individu fail gzip semasa menstrimkannya?
Penerangan adegan:
现有许多行日志文本，按天压缩成一个个TB级的gzip文件。
使用流对每个压缩文件的数据段进行传输然后解压，对解压出的文本分词并索引
以后查到这个词时，定位到这个词所在的文件和段，再用流传输并解压
（实际上是想利用已有的压缩文件构造一个类似ES的搜索引擎）
Masalahnya sekarang ialah kerana apa yang diterima bukanlah fail termampat yang lengkap tetapi menyekat data binari, data yang diterima tidak boleh dimampatkan kerana maklumat yang tidak lengkap
Sekarang saya ingin melaksanakan fungsi sedemikian: pertama nyahmampat data aliran yang diterima dan memulihkannya untuk melengkapkan data (data log asal dipisahkan oleh baris baharu, adalah baik untuk mendapatkan teks sebelum pemampatan setiap data aliran dan mengimbangi fail yang sepadan), dan kemudian mempertimbangkan bahawa proses seperti penghantaran dan penyimpanan boleh menyebabkan ralat data, jadi untuk setiap aliran data, nyahmampat data sebanyak mungkin sekiranya berlaku ralat.
Sebahagian daripada kod yang berkaitan adalah seperti berikut: (diubah suai daripada https://stackoverflow.com/que...)
import zlib
import traceback
CHUNKSIZE=30
d = zlib.decompressobj(16 + zlib.MAX_WBITS)
f = open('test.py.gz','rb')
buffer = f.read(CHUNKSIZE)
i = 0
while buffer :
i += 1
try:
#skip two chunk
if i < 3 or i > 4:
outstr = d.decompress(buffer)
print('*'*10 + outstr + '#'*10)
except Exception, e:
print(traceback.print_exc())
finally:
buffer = f.read(CHUNKSIZE)
outstr = d.flush()
print(outstr)
f.close()Apabila i>=3, ralat dilaporkan setiap kali dalam gelung
Kesimpulan saya ialah jika strim tidak berterusan (melangkau untuk menerima sebahagian daripada data), maka data berikutnya tidak boleh dinyahmampat.
Soalan 1: Bagaimanakah kita boleh menyahmampat dengan betul setiap bahagian data yang diterima? (Oleh kerana ia mungkin melibatkan algoritma dan struktur data pemampatan gzip, saya sedang melihat kod yang berkaitan. Jika masalah itu boleh diselesaikan dengan menambahkan chuck tertentu dalam pengepala penghantaran atau beberapa chuck sebelum dan selepas data yang perlu dinyahmampat , ia boleh dipertimbangkan)
Soalan 2 :
Jika anda tidak boleh menyahmampat dengan betul setiap bahagian data yang diterima, bagaimana anda boleh menyahmampat data sebanyak mungkin?
