java - Comment décompresser les données de certains blocs de données individuels d'un fichier GZIP lors de sa diffusion?
Description de la scène :
现有许多行日志文本，按天压缩成一个个TB级的gzip文件。
使用流对每个压缩文件的数据段进行传输然后解压，对解压出的文本分词并索引
以后查到这个词时，定位到这个词所在的文件和段，再用流传输并解压
（实际上是想利用已有的压缩文件构造一个类似ES的搜索引擎）
Le problème maintenant est que, comme ce qui est reçu n'est pas un fichier compressé complet mais un bloc de données binaires, les données reçues ne peuvent pas être décompressées en raison d'informations incomplètes
Maintenant, je souhaite implémenter cette fonction : décompressez d'abord les données du flux reçu et restaurez-les en données complètes (les données du journal d'origine sont séparées par des caractères de nouvelle ligne, ce serait bien d'obtenir le texte avant la compression de chaque données de flux et le décalage de le fichier correspondant), puis considérez que des processus tels que la transmission et le stockage peuvent provoquer des erreurs de données, donc pour chaque flux de données, décompressez un maximum de données en cas d'erreurs.
Une partie du code pertinent est la suivante : (modifié depuis https://stackoverflow.com/que...)
import zlib
import traceback
CHUNKSIZE=30
d = zlib.decompressobj(16 + zlib.MAX_WBITS)
f = open('test.py.gz','rb')
buffer = f.read(CHUNKSIZE)
i = 0
while buffer :
i += 1
try:
#skip two chunk
if i < 3 or i > 4:
outstr = d.decompress(buffer)
print('*'*10 + outstr + '#'*10)
except Exception, e:
print(traceback.print_exc())
finally:
buffer = f.read(CHUNKSIZE)
outstr = d.flush()
print(outstr)
f.close()Lorsque i>=3, une erreur est signalée à chaque fois dans la boucle
Ma conclusion est que si le flux est discontinu (saut pour recevoir une partie des données), alors les données suivantes ne peuvent pas être décompressées.
Question 1 : Comment décompresser correctement chaque partie des données reçues ? (Parce que cela peut impliquer l'algorithme et la structure des données de la compression gzip, je regarde le code correspondant. Si le problème peut être résolu en ajoutant un certain mandrin dans l'en-tête de transmission ou un mandrin avant et après les données qui doivent être décompressées. , c'est bon)
Question 2 :
Si vous ne pouvez pas décompresser correctement chaque partie des données reçues, comment pouvez-vous décompresser autant de données que possible ?
