Python3 リアルタイム操作を使用してログ ファイルを処理する方法

1. 単純なリアルタイム ファイル処理 (単一ファイル)

リアルタイムで読み取りたいログのパスが /data/mongodb/shard1/log/pg.csv# であると仮定します。

## 次に、Python ファイル内でシェル スクリプト コマンド tail -F を使用して、リアルタイムで読み取りと操作を行うことができます。

コードは次のとおりです。

import re
import codecs
import subprocess
 
def pg_data_to_elk():
    p = subprocess.Popen('tail -F /data/mongodb/shard1/log/pg.csv', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,)    #起一个进程，执行shell命令
    while True:
        line = p.stdout.readline()   #实时获取行
        if line:                     #如果行存在的话
            xxxxxxxxxxxx
            your operation

サブプロセスについて簡単に説明します。 module:

subprocess を使用すると、新しいプロセスを生成し、その入力/出力/エラー パイプに接続し、戻り (ステータス) コードを取得できます。

subprocess.Popen の概要

このクラスは、新しいプロセスでサブプログラムを実行するために使用されます。

subprocess.Popenのコンストラクタ

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, 
    preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
    startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

パラメータの説明:

• args: 実行するシェルコマンドは文字列または一連のコマンドです。パラメーター。このパラメータの値が文字列の場合、コマンドの解釈プロセスはプラットフォームに依存するため、通常は args パラメータをシーケンスとして渡すことをお勧めします。

• stdin、stdout、stderr: それぞれプログラムの標準入力、出力、エラー ハンドルを表します。

• shell: このパラメータは、実行するプログラムとしてシェルを使用するかどうかを識別するために使用されます。シェル値が True の場合、args パラメータを文字列として渡すことをお勧めします。シーケンスとしてではなく。

2. 複雑なリアルタイム ファイル処理 (新しいファイルの継続的な生成)

ログが特定の条件が満たされたときに新しいログ ファイルを生成する場合 (log1 など) .csv が 20M に達すると、log2.csv が書き込まれます。このように、1 日に 1,000 ファイルを超え、新しいファイルが生成され続けます。では、それらをリアルタイムに取得するにはどうすればよいでしょうか。

アイデアは次のとおりです:

現在のファイルのサイズ決定をリアルタイム監視に追加します (tail -F)。現在のファイル サイズが 20M より大きい場合は、ジャンプします。リアルタイム監視を終了し、新しいログ ファイルを取得します。 (他の判定条件がある場合も同様の考え方ですが、現在のファイルサイズの判定を必要な判定に置き換えてください)

コードは以下のとおりです:

import re
import os
import time
import codecs
import subprocess
from datetime import datetime
 
path = '/home/liao/python/csv'
time_now_day = datetime.now.strftime('%Y-%m-%d')
 
def get_file_size(new_file):
    fsize = os.path.getsize(new_file)
    fsize = fsize/float(1024*1024)
    return fsize
 
def get_the_new_file():
    files = os.listdir(path)
    files_list = list(filter(lambda x:x[-4:]=='.csv' and x[11:21]==time_now_day, files))
    files_list.sort(key=lambda fn:os.path.getmtime(path + '/' + fn) if not os.path.isdir(path + '/' + fn) else 0)
    new_file = os.path.join(path, files_list[-1])
    return new_file
 
def pg_data_to_elk():
    while True:
        new_file = get_the_new_file()
        p = subprocess.Popen('tail -F {0}'.format(new_file), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE,)    #起一个进程，执行shell命令
        while True:
            line = p.stdout.readline()   #实时获取行
            if line:                     #如果行存在的话
                if get_file_size(new_file) > 20:    #如果大于20M，则跳出循环
                    break
                xxxxxxxxxxxx
                your operation
        time.sleep(3)

以上がPython3 リアルタイム操作を使用してログ ファイルを処理する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。