如何在 Python 中高效检索文件的最后 N 行（支持偏移量）？

获取文件的最后 N 行，类似于 Tail

简介

日志文件分析通常涉及以下功能：查看最近的条目。这通常是使用“tail”命令来实现的，该命令检索文件的最后 n 行。在本文中，我们将探索模拟 tail 命令的 Python 方法的实现，并支持偏移量。

Tail 实现

建议的 tail() 方法操作如下：

1. 从底部读取 n 行
2. 它提供了一个偏移参数，可以从底部跳过指定数量的行。

def tail(f, n, offset=0):
    """Reads a n lines from f with an offset of offset lines."""
    avg_line_length = 74
    to_read = n + offset
    while 1:
        try:
            f.seek(-(avg_line_length * to_read), 2)
        except IOError:
            f.seek(0)
        pos = f.tell()
        lines = f.read().splitlines()
        if len(lines) >= to_read or pos == 0:
            return lines[-to_read:offset and -offset or None]
        avg_line_length *= 1.3

此方法估计平均行长度并动态调整它以优化性能.

替代方法

原始实现做出了以下假设行长度，这可能并不总是正确。这是避免此类假设的另一种方法：

def tail(f, lines=20):
    total_lines_wanted = lines

    BLOCK_SIZE = 1024
    f.seek(0, 2)
    block_end_byte = f.tell()
    lines_to_go = total_lines_wanted
    block_number = -1
    blocks = [] 
    while lines_to_go > 0 and block_end_byte > 0:
        if (block_end_byte - BLOCK_SIZE > 0):
            f.seek(block_number*BLOCK_SIZE, 2)
            blocks.append(f.read(BLOCK_SIZE))
        else:
            f.seek(0,0)
            blocks.append(f.read(block_end_byte))
        lines_found = blocks[-1].count('\n')
        lines_to_go -= lines_found
        block_end_byte -= BLOCK_SIZE
        block_number -= 1
    all_read_text = ''.join(reversed(blocks))
    return '\n'.join(all_read_text.splitlines()[-total_lines_wanted:])

此方法一次一个块地向后查找文件，计算换行符以找到所需的行。

结论

这两种方法都提供了可行的解决方案，用于检索具有偏移量支持的文件的最后 n 行。另一种方法避免了对行长度的假设，并且对于大文件可能更有效。

以上是如何在 Python 中高效检索文件的最后 N 行（支持偏移量）？的详细内容。更多信息请关注PHP中文网其他相关文章！