Heim  >  Artikel  >  Backend-Entwicklung  >  Eingehende Analyse des ausgewählten Moduls in Python

Eingehende Analyse des ausgewählten Moduls in Python

巴扎黑
巴扎黑Original
2017-08-18 13:55:071307Durchsuche

Einführung

Das Select-Modul in Python konzentriert sich auf das E/A-Multiplexing und bietet drei Methoden: Select Poll und Epoll (die beiden letzteren sind unter Linux verfügbar, und Windows unterstützt nur Select). Methode (FreeBSD-System)

select-Methode

wird ebenfalls bereitgestellt. Der Prozess gibt an, auf welche Dateideskriptoren der Kernel wartet (bis zu 1024 fds) und welche Ereignisse, wenn keine Dateideskriptorereignisse auftreten. , wird der Prozess blockiert; wenn ein oder mehrere Dateideskriptorereignisse auftreten, wird der Prozess aktiviert.

Wenn wir select() aufrufen:

1. Kontextwechsel zum Kernel-Status

2. Kopieren Sie fd vom Benutzerbereich in den Kernelbereich

3. Der Kernel durchläuft alle fds, um zu sehen, ob das entsprechende Ereignis auftritt

4. Wenn es nicht auftritt, wird der Prozess blockiert. Wenn der Gerätetreiber einen Interrupt generiert oder eine Zeitüberschreitung auftritt, wird der Prozess aktiviert und erneut durchlaufen

5. Geben Sie den durchlaufenen fd zurück

6. Kopieren Sie fd vom Kernel-Space in den User-Space

fd:file descriptor file descriptor

fd_r_list, fd_w_list, fd_e_list = select.select(rlist, wlist, xlist, [timeout])

Parameter: Akzeptiert vier Parameter (die ersten drei sind erforderlich)

rlist: warten, bis zum Lesen bereit ist

wlist: warten, bis zum Schreiben bereit ist

xlist: auf eine „Ausnahmebedingung“ warten

Timeout: Timeout-Zeit

Rückgabewert: drei Listen

Die Select-Methode wird zum Überwachen von Dateideskriptoren verwendet (wenn die Dateideskriptorbedingungen nicht erfüllt sind, wird Select blockiert. Wenn sich der Status eines Dateideskriptors ändert, werden drei Listen zurückgegeben

1. Wenn der fd Wenn die Parameter-1-Sequenz die Bedingung „lesbar“ erfüllt, erhalten Sie das geänderte fd und fügen Sie es der fd_r_list hinzu

2. Wenn die Parameter-2-Sequenz fd enthält, werden alle fd in der Sequenz hinzugefügt zu fd_w_list

3. Wenn im fd in der Reihenfolge von Parameter 3 ein Fehler auftritt, wird der fd mit dem Fehler zu fd_e_list hinzugefügt

4. Wenn das Timeout leer ist, dann auswählen blockiert, bis sich das überwachte Handle ändert.

Wenn das Timeout = n (positive Ganzzahl) ist und sich das überwachte Handle nicht ändert, wird select für n Sekunden blockiert und gibt dann eine Liste mit drei Nullen zurück, wenn das überwachte Handle vorliegt Wenn Sie Änderungen verarbeiten, wird diese direkt ausgeführt.

Beispiel:

Verwenden Sie select, um einen gleichzeitigen Server zu implementieren

import socket
import select
 
s = socket.socket()
s.bind(('127.0.0.1',8888))
s.listen(5)
r_list = [s,]
num = 0
while True:
 rl, wl, error = select.select(r_list,[],[],10)
 num+=1
 print('counts is %s'%num)
 print("rl's length is %s"%len(rl))
 for fd in rl:
  if fd == s:
   conn, addr = fd.accept()
   r_list.append(conn)
   msg = conn.recv(200)
   conn.sendall(('first----%s'%conn.fileno()).encode())
  else:
   try:
    msg = fd.recv(200)
    fd.sendall('second'.encode())
   except ConnectionAbortedError:
    r_list.remove(fd)
 
s.close()
import socket
 
flag = 1
s = socket.socket()
s.connect(('127.0.0.1',8888))
while flag:
 input_msg = input('input>>>')
 if input_msg == '0':
  break
 s.sendall(input_msg.encode())
 msg = s.recv(1024)
 print(msg.decode())
 
s.close()

Auf der Serverseite können wir sehen, dass wir select kontinuierlich aufrufen müssen. Das bedeutet :

 1 Wenn zu viele Dateideskriptoren vorhanden sind, ist es sehr zeitaufwändig, die Dateideskriptoren zwischen Benutzerbereich und Kernelbereich zu kopieren

 2 Wenn zu viele Dateideskriptoren vorhanden sind, wird die Kernel wird Das Durchlaufen von Dateideskriptoren ist ebenfalls Zeitverschwendung

 3 Select unterstützt nur maximal 1024 Dateideskriptoren

Umfrage unterscheidet sich nicht wesentlich von Select und wird in diesem Artikel nicht vorgestellt

Epoll-Methode:

Epoll hat die Auswahl sehr gut verbessert:

 1. Die Lösung von Epoll liegt in der Funktion epoll_ctl. Jedes Mal, wenn ein neues Ereignis im Epoll-Handle registriert wird, werden alle FDS in den Kernel kopiert, anstatt während epoll_wait wiederholte Kopien durchzuführen. epoll stellt sicher, dass jedes fd während des gesamten Prozesses nur einmal kopiert wird.

2. epoll durchläuft den angegebenen fd während epoll_ctl (diese Zeit ist wichtig) und gibt für jeden fd eine Rückruffunktion an. Wenn das Gerät bereit ist und die Kellner in der Warteschlange weckt, wird diese Rückruffunktion ausgeführt aufgerufen werden, und diese Rückruffunktion fügt das fertige fd zu einer fertig verknüpften Liste hinzu. Die Aufgabe von epoll_wait besteht eigentlich darin, zu prüfen, ob in dieser Bereitschaftsliste ein bereiter fd vorhanden ist

3. epoll hat keine zusätzlichen Einschränkungen für Dateideskriptoren

select.epoll(sizehint=-1, flags = 0) Epoll-Objekt erstellen

epoll.close()

Schließen Sie den Steuerdateideskriptor des Epoll-Objekts

epoll.closed

True, wenn das Epoll-Objekt geschlossen ist.

epoll.fileno().

Gibt die Dateideskriptornummer des Kontroll-FD zurück. Gibt den Dateideskriptor des Epoll-Objekts zurück.

epoll.fromfd(fd)

Erstellen Sie ein epoll-Objekt aus einem bestimmten Dateideskriptor. Erstellen Sie ein epoll-Objekt basierend auf dem angegebenen fd

epoll.register(fd[, eventmask])

Registrieren Sie einen fd-Deskriptor mit das Epoll-Objekt. Registrieren Sie fd und entsprechende Ereignisse in

epoll.modify(fd, eventmask)

Ändern Sie die Ereignisse von fd

epoll.unregister(fd)

Entfernen Sie einen registrierten Dateideskriptor aus dem Epoll-Objekt

epoll. poll(timeout=-1, maxevents=-1)

Warten Sie auf Ereignis-Timeout in Sekunden (Float)-Blöcken, bis das registrierte fd-Ereignis auftritt, und ein Diktat wird im Format zurückgegeben: {(fd1, event1), (fd2, event2) ,...(fdn,eventn)}

Ereignis:

EPOLLIN Verfügbar zum Lesen. Das lesbare Statussymbol ist 1

EPOLLOUT Verfügbar für schreiben Das beschreibbare Statussymbol ist 4

EPOLPRI Dringende Daten zum Lesen

EPOLLERR Fehlerbedingung ist auf dem Assoc aufgetreten. Das Fehlerstatussymbol ist 8

EPOLHUP Auflegen ist aufgetreten auf dem Assoc. fd Hang-Status

EPOLLET Set Edge Trigger behavior, the default is Level Trigger behavior 默认为水平触发,设置该事件后则边缘触发

EPOLLONESHOT Set one-shot behavior. After one event is pulled out, the fd is internally disabled

EPOLLRDNORM Equivalent to EPOLLIN

EPOLLRDBAND Priority data band can be read.

EPOLLWRNORM Equivalent to EPOLLOUT

EPOLLWRBAND Priority data may be written.

EPOLLMSG Ignored.

水平触发和边缘触发:

Level_triggered(水平触发,有时也称条件触发):当被监控的文件描述符上有可读写事件发生时,epoll.poll()会通知处理程序去读写。如果这次没有把数据一次性全部读写完(如读写缓冲区太小),那么下次调用 epoll.poll()时,它还会通知你在上没读写完的文件描述符上继续读写,当然如果你一直不去读写,它会一直通知你!!!如果系统中有大量你不需要读写的就绪文件描述符,而它们每次都会返回,这样会大大降低处理程序检索自己关心的就绪文件描述符的效率!!! 优点很明显:稳定可靠

Edge_triggered(边缘触发,有时也称状态触发):当被监控的文件描述符上有可读写事件发生时,epoll.poll()会通知处理程序去读写。如果这次没有把数据全部读写完(如读写缓冲区太小),那么下次调用epoll.poll()时,它不会通知你,也就是它只会通知你一次,直到该文件描述符上出现第二次可读写事件才会通知你!!!这种模式比水平触发效率高,系统不会充斥大量你不关心的就绪文件描述符!!!缺点:某些条件下不可靠

epoll实例:

import socket
import select
 
s = socket.socket()
s.bind(('127.0.0.1',8888))
s.listen(5)
epoll_obj = select.epoll()
epoll_obj.register(s,select.EPOLLIN)
connections = {}
while True:
 events = epoll_obj.poll()
 for fd, event in events:
  print(fd,event)
  if fd == s.fileno():
   conn, addr = s.accept()
   connections[conn.fileno()] = conn
   epoll_obj.register(conn,select.EPOLLIN)
   msg = conn.recv(200)
   conn.sendall('ok'.encode())
  else:
   try:
    fd_obj = connections[fd]
    msg = fd_obj.recv(200)
    fd_obj.sendall('ok'.encode())
   except BrokenPipeError:
    epoll_obj.unregister(fd)
    connections[fd].close()
    del connections[fd]
 
s.close()
epoll_obj.close()
import socket
 
flag = 1
s = socket.socket()
s.connect(('127.0.0.1',8888))
while flag:
 input_msg = input('input>>>')
 if input_msg == '0':
  break
 s.sendall(input_msg.encode())
 msg = s.recv(1024)
 print(msg.decode())
 
s.close()

Das obige ist der detaillierte Inhalt vonEingehende Analyse des ausgewählten Moduls in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn