Python で固定幅のファイル行を効率的に解析するにはどうすればよいですか?

固定幅ファイル行の高速解析

各列が 1 行内の特定の文字数を占める固定幅ファイルの解析は、効率が必要なタスクとなる場合があります。これを効率的に実現する方法について説明します。

問題

最初の 20 文字が 1 列を表し、2 番目の 21 ～ 30 文字が続く固定幅ファイルを考えてみましょう。の上。 100 文字の行がある場合、それをそれぞれの列に効率的に解析するにはどうすればよいでしょうか?

解決策

1. Struct モジュール:

Python 標準ライブラリの struct モジュールを利用すると、C 実装によるシンプルさと速度の両方が得られます。以下のコードはその使用法を示しています:

<code class="python">import struct

fieldwidths = (2, -10, 24)
fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths)

# Convert Unicode input to bytes and decode result.
unpack = struct.Struct(fmtstring).unpack_from  # Alias.
parse = lambda line: tuple(s.decode() for s in unpack(line.encode()))

# Parse a sample line.
line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fields = parse(line)
print('fields:', fields)</code>

出力:

fmtstring: '2s 10x 24s', record size: 36 chars
fields: ('AB', 'MNOPQRSTUVWXYZ0123456789')

2.最適化された文字列スライス:

文字列スライスは一般的に使用されますが、行が大きい場合は煩雑になる可能性があります。最適化されたアプローチは次のとおりです:

<code class="python">from itertools import zip_longest
from itertools import accumulate

def make_parser(fieldwidths):
    # Calculate slice boundaries.
    cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths))
    # Create field slice tuples.
    flds = tuple(zip_longest(cuts, (0,)+cuts))[:-1]  # Ignore final value.
    # Construct the parsing function.
    parse = lambda line: tuple(line[i:j] for i, j in flds)
    parse.size = sum(abs(fw) for fw in fieldwidths)
    parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's')
                                            for fw in fieldwidths)
    return parse

# Parse a sample line.
line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n'
fieldwidths = (2, -10, 24)  # Negative values indicate ignored padding fields.
parse = make_parser(fieldwidths)
fields = parse(line)
print('fmtstring:', parse.fmtstring, ', record size:', parse.size, 'chars')
print('fields:', fields)</code>

出力:

fmtstring: '2s 10x 24s', record size: 36 chars
fields: ('AB', 'MNOPQRSTUVWXYZ0123456789')

以上がPython で固定幅のファイル行を効率的に解析するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。