Maison  >  Article  >  développement back-end  >  Comment optimiser l'analyse de fichiers à largeur fixe en Python ?

Comment optimiser l'analyse de fichiers à largeur fixe en Python ?

DDD
DDDoriginal
2024-10-31 05:26:30430parcourir

How to Optimize Fixed Width File Parsing in Python?

Optimisation de l'analyse des fichiers à largeur fixe

Pour analyser efficacement les fichiers à largeur fixe, on peut envisager d'exploiter le module struct de Python. Cette approche exploite C pour améliorer la vitesse, comme le démontre l'exemple suivant :

<code class="python">import struct

fieldwidths = (2, -10, 24)
fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths)

unpack = struct.Struct(fmtstring).unpack_from  # Alias.
parse = lambda line: tuple(s.decode() for s in unpack(line.encode()))

line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fields = parse(line)
print('fields: {}'.format(fields))</code>

Vous pouvez également utiliser le découpage de chaînes. Pour améliorer l'efficacité, envisagez de définir une fonction lambda qui compile les tranches au moment de l'exécution, comme le montre la version optimisée ci-dessous :

<code class="python">def make_parser(fieldwidths):
    cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths))
    pads = tuple(fw < 0 for fw in fieldwidths)  # bool flags for padding fields
    flds = tuple(zip_longest(pads, (0,) + cuts, cuts))[:-1]  # ignore final one
    slcs = ', '.join('line[{}:{}]'.format(i, j) for pad, i, j in flds if not pad)
    parse = eval('lambda line: ({})\n'.format(slcs))  # Create and compile source code.
    # Optional informational function attributes.
    parse.size = sum(abs(fw) for fw in fieldwidths)
    parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's')
                                                for fw in fieldwidths)
    return parse</code>

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration:
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn