Python で Ruby ファイルをストリーミングすると `subprocess.readlines()` がハングするのはなぜですか?

Python subprocess.readlines() がハングします

問題:

次の Python コード内、subprocess.readlines() を使用して Ruby ファイルをストリーミングすると、プログラムが無期限にハングアップし、最後の print ステートメントが実行されません:

from subprocess import Popen, PIPE, STDOUT
import pty
import os

file_path = '/Users/luciano/Desktop/ruby_sleep.rb'
command = ' '.join(["ruby", file_path])
master, slave = pty.openpty()
proc = Popen(command, bufsize=0, shell=True, stdout=slave, stderr=slave, close_fds=True)
stdout = os.fdopen(master, 'r', 0)

while proc.poll() is None:
    data = stdout.readline()
    if data != "":
        print(data)
    else:
        break

print("This is never reached!")

原因:

ここでの問題は、疑似端末処理を目的とした pty の使用に起因します。これにより通常、Ruby 側で行バッファリングが発生し、readline() 関数が改行文字を無限に待機することになります。

解決策:

いくつかのオプションがあります。この問題を解決するには:

1. pexpect:

pexpect を使用すると、非対話型設定でのラインバッファリングが有効になります:

import sys
import pexpect

pexpect.run("ruby ruby_sleep.rb", logfile=sys.stdout)

2. stdbuf の使用:

stdbuf を使用すると、非対話モードでのライン バッファリングを有効にできます:

from subprocess import Popen, PIPE, STDOUT

proc = Popen(['stdbuf', '-oL', 'ruby', 'ruby_sleep.rb'],
             bufsize=1, stdout=PIPE, stderr=STDOUT, close_fds=True)
for line in iter(proc.stdout.readline, b''):
    print line,
proc.stdout.close()
proc.wait()

3.標準ライブラリの pty を使用する:

import errno
import os
import pty
from subprocess import Popen, STDOUT

master_fd, slave_fd = pty.openpty()  # provide tty to enable
                                     # line-buffering on ruby's side
proc = Popen(['ruby', 'ruby_sleep.rb'],
             stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, close_fds=True)
os.close(slave_fd)
try:
    while 1:
        try:
            data = os.read(master_fd, 512)
        except OSError as e:
            if e.errno != errno.EIO:
                raise
            break # EIO means EOF on some systems
        else:
            if not data: # EOF
                break
            print('got ' + repr(data))
finally:
    os.close(master_fd)
    if proc.poll() is None:
        proc.kill()
    proc.wait()
print("This is reached!")

以上がPython で Ruby ファイルをストリーミングすると `subprocess.readlines()` がハングするのはなぜですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。