首页 / Python教程

    python中协程的详解(附示例)

    作者:PHP中文网2018-10-13 16:31:01

    php中文网赞助会员本篇文章给大家带来的内容是关于python中协程的详解(附示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

    协程,又称微线程,纤程。英文名Coroutine
    协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

    最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。
    第二大优势就是不需要多线程的锁机制,因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。
    因为协程是一个线程执行,那怎么利用多核CPU呢?最简单的方法是多进程+协程,既充分利用多核,又充分发挥协程的高效率,可获得极高的性能。

    yield实现协程

    Python对协程的支持还非常有限,用在generator中的yield可以一定程度上实现协程。虽然支持不完全,但已经可以发挥相当大的威力了。

    import threading
    import time
    def producer(c):
        c.__next__()
        n=0
        while n<5:
            n+=1
            print('[生产者]产出第%s条数据' %(n))
            res = c.send(n)
            print('[返回]:%s' %(res))
    def consumer():
        r='sheenstar'
        while True:
            # 更新r值: r = 'This is ok!', c.__next__()
            # n= yield r --> c.send(n) --> n更新
            n = yield r
            if not n:
                break
            print('[消费者]正在调用第%s条数据' %(n))
            time.sleep(1)
            r = 'This is ok!'
    
    if __name__=='__main__':
        print(threading.current_thread())   
        print(threading.active_count())     #查看当前进行的线程
        c = consumer()
        producer(c)     #函数中有yield, 返回值为生成器;
        print(threading.active_count()) #1

    2756258482-5bb9cf9ac1a8a_articlex.png

    gevent库实现协程

    Python通过yield提供了对协程的基本支持,但是不完全。而第三方的gevent为Python提供了比较完善的协程支持。

    gevent是第三方库,通过greenlet实现协程,其基本思想是:
    当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

    由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成。

    假设多协程执行的任务, 没有IO操作或者等待, 那么协程间是依次运行, 而不是交替运行;
    假设多协程执行的任务, IO操作或者等待, 那么协程间是交替运行;

    #没有等待
    import gevent
    from gevent import monkey
    monkey.patch_all()
    def job(n):
        for i in range(n):
            print(gevent.getcurrent(),i)
    
    def mian():
        g1 = gevent.spawn(job,1)
        g2 = gevent.spawn(job,2)
        g3 = gevent.spawn(job,3)
        gevent.joinall([g1,g2,g3])
        print('协程执行任务结束...')
    
    if __name__=="__main__":
        mian()

    1289131765-5bb9cf3651ec4_articlex.png

    """
    #有等待
    import time
    from gevent import  monkey
    monkey.patch_all()
    
    import  gevent
    def job(n):
        for i in range(n):
            print(gevent.getcurrent(), i)
            time.sleep(1)
    
    def main1():
        # 创建三个协程, 并让该协程执行job任务
        g1 = gevent.spawn(job, 2)
        g2 = gevent.spawn(job, 3)
        g3 = gevent.spawn(job, 2)
        # 等待所有的协程执行结束, 再执行主程序;
        gevent.joinall([g1, g2, g3])
        print("任务执行结束.....")
    
    main1()

    2386586806-5bb9cf03f0a63_articlex.png

    协程与线程

    做一个关于协程和线程花费时间的对比实验,不具有参考性 。

    import time
    import gevent   #导入协程
    from gevent import monkey
    from urllib.request import urlopen  #连接网络
    from mytimeit import timeit #导入计算时间的装饰器
    from concurrent.futures import ThreadPoolExecutor   #导入线程池
    
    def get_len_url(url):
        with urlopen(url) as u_conn:
            data = u_conn.read()
    #       print('%s该网页共%s字节' %(url,len(data)))
    urls = ['http://httpbin.org', 'http://example.com/']*100
    
    @timeit
    def coroutineall():
        gevents = [gevent.spawn(get_len_url,url) for url in urls]
        gevent.joinall(gevents)
    
    @timeit
    def threadall():
        with ThreadPoolExecutor(max_workers=100) as thpool:
            thpool.map(get_len_url,urls)
    if __name__=="__main__":
        coroutineall()
        threadall()

    1974720204-5bb9ce9f853e3_articlex.png

    以上就是python中协程的详解(附示例)的详细内容,更多请关注php中文网其它相关文章!

    标签:

PHP中文网

未登录