Mengapakah `subprocess.Popen` dengan `readline()` digantung apabila membaca daripada skrip Ruby, dan bagaimanakah perkara ini boleh dibetulkan?

Python subprocess readlines() hang

Masalah:

Apabila membaca output skrip ruby ​​menggunakan subprocess.Popen dan readline() dalam fesyen penstriman, readline() digantung selama-lamanya dan tidak pernah kembali.

Latar Belakang:

Matlamatnya adalah untuk menstrim output fail ruby ​​baris demi baris, mencetaknya tanpa menimbal keseluruhan output.

from subprocess import Popen, PIPE, STDOUT
import pty
import os

file_path = '/Users/luciano/Desktop/ruby_sleep.rb'

command = ' '.join(["ruby", file_path])

master, slave = pty.openpty()
proc = Popen(command, bufsize=0, shell=True, stdout=slave, stderr=slave, close_fds=True)     
stdout = os.fdopen(master, 'r', 0)

while proc.poll() is None:
    data = stdout.readline()
    if data != "":
        print(data)
    else:
        break

print("This is never reached!")

Skrip ruby_sleep.rb mengeluarkan mesej ringkas dengan 2 saat kelewatan:

puts "hello"

sleep 2

puts "goodbye!"

Punca Punca:

readline() kekal digantung kerana skrip ruby ​​mengeluarkan data tanpa menamatkan baris (iaitu, tanpa baris baharu). Ini menyebabkan readline() menunggu selama-lamanya untuk baris baharu melengkapkan baris.

Penyelesaian:

Beberapa penyelesaian wujud bergantung pada ketersediaan platform:

• Untuk Linux:

  Gunakan pty daripada pustaka standard untuk membuka pseudo-terminal (tty) dan mendayakan penimbal baris pada bahagian ruby, memastikan setiap baris ditamatkan dengan baris baharu.

  import os
  import pty
  from subprocess import Popen, STDOUT
  
  master_fd, slave_fd = pty.openpty()  # provide tty to enable
                                       # line-buffering on ruby's side
  proc = Popen(['ruby', 'ruby_sleep.rb'],
               stdin=slave_fd, stdout=slave_fd, stderr=STDOUT, close_fds=True)
  os.close(slave_fd)
  try:
      while 1:
          try:
              data = os.read(master_fd, 512)
          except OSError as e:
              if e.errno != errno.EIO:
                  raise
              break # EIO means EOF on some systems
          else:
              if not data: # EOF
                  break
              print('got ' + repr(data))
  finally:
      os.close(master_fd)
      if proc.poll() is None:
          proc.kill()
      proc.wait()
  print("This is reached!")

• Untuk platform berasaskan Linux:

  Gunakan pty dari perpustakaan standard dan pilih untuk memantau deskriptor fail induk untuk aktiviti, memastikan data dibaca dalam cara yang tidak menyekat.

  import os
  import pty
  import select
  from subprocess import Popen, STDOUT
  
  master_fd, slave_fd = pty.openpty()  # provide tty to enable
                                       # line-buffering on ruby's side
  proc = Popen(['ruby', 'ruby_sleep.rb'],
               stdout=slave_fd, stderr=STDOUT, close_fds=True)
  
  timeout = .04 # seconds
  while 1:
      ready, _, _ = select.select([master_fd], [], [], timeout)
      if ready:
          data = os.read(master_fd, 512)
          if not data:
              break
          print("got " + repr(data))
      elif proc.poll() is not None: # select timeout
          assert not select.select([master_fd], [], [], 0)[0] # detect race condition
          break # proc exited
  os.close(slave_fd) # can't do it sooner: it leads to errno.EIO error
  os.close(master_fd)
  proc.wait()
  
  print("This is reached!")

• Pilihan merentas platform:

  Gunakan stdbuf untuk dayakan penimbalan talian dalam bukan interaktif mod.

  from subprocess import Popen, PIPE, STDOUT
  
  proc = Popen(['stdbuf', '-oL', 'ruby', 'ruby_sleep.rb'],
               bufsize=1, stdout=PIPE, stderr=STDOUT, close_fds=True)
  for line in iter(proc.stdout.readline, b''):
      print line,
  proc.stdout.close()
  proc.wait()

Penyelesaian ini kesemuanya mendayakan penimbalan baris pada sisi ruby, memastikan setiap baris ditamatkan dengan baris baharu, membenarkan readline() berfungsi dengan betul.

Atas ialah kandungan terperinci Mengapakah `subprocess.Popen` dengan `readline()` digantung apabila membaca daripada skrip Ruby, dan bagaimanakah perkara ini boleh dibetulkan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!