Python - Bagaimana dengan cepat mengesahkan kod status halaman web dengan 200 juta++ URL?
Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.
Rumah > Soal Jawab > teks badan
Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.
PHPz2017-05-18 10:58:14
Gunakan sokongan klien curl Tornado untuk menutup sambungan selepas membaca pengepala permintaan. (Saya belum mencubanya lagi. Jika klien HTTP yang disediakannya tidak menyokong penutupan sambungan di tengah jalan, anda boleh menggunakan TCP dan kemudian menggunakan http-parser untuk menghuraikannya seperti yang saya lakukan.)
Baiklah, sebenarnya anda hanya boleh menambah sambungan untuk fetchtitle untuk mendapatkan kod status... (ingat untuk memasang pycurl)
巴扎黑2017-05-18 10:58:14
Python sememangnya lambat Jika anda ingin cepat, tulis sahaja permintaan tcp dan kemudian baca balasan Selepas membaca status, tutup soket.
ringa_lee2017-05-18 10:58:14
Menggunakan grequests, permintaan dirangkumkan serentak
https://github.com/kennethrei...
迷茫2017-05-18 10:58:14
Dalam kes ini, anda boleh mempertimbangkan untuk menggunakan gevent, tornado, scrapy-redis, asyncio!
