cari

Rumah  >  Soal Jawab  >  teks badan

Python - Bagaimana dengan cepat mengesahkan kod status halaman web dengan 200 juta++ URL?

Saya menggunakan permintaan untuk menulis berbilang benang, tetapi ia terasa agak lambat.

世界只因有你世界只因有你2756 hari yang lalu620

membalas semua(5)saya akan balas

  • PHPz

    PHPz2017-05-18 10:58:14

    Gunakan sokongan klien curl Tornado untuk menutup sambungan selepas membaca pengepala permintaan. (Saya belum mencubanya lagi. Jika klien HTTP yang disediakannya tidak menyokong penutupan sambungan di tengah jalan, anda boleh menggunakan TCP dan kemudian menggunakan http-parser untuk menghuraikannya seperti yang saya lakukan.)

    Baiklah, sebenarnya anda hanya boleh menambah sambungan untuk fetchtitle untuk mendapatkan kod status... (ingat untuk memasang pycurl)

    balas
    0
  • 巴扎黑

    巴扎黑2017-05-18 10:58:14

    Python sememangnya lambat Jika anda ingin cepat, tulis sahaja permintaan tcp dan kemudian baca balasan Selepas membaca status, tutup soket.

    balas
    0
  • ringa_lee

    ringa_lee2017-05-18 10:58:14

    Menggunakan grequests, permintaan dirangkumkan serentak

    https://github.com/kennethrei...

    balas
    0
  • 迷茫

    迷茫2017-05-18 10:58:14

    Dalam kes ini, anda boleh mempertimbangkan untuk menggunakan gevent, tornado, scrapy-redis, asyncio!

    balas
    0
  • 大家讲道理

    大家讲道理2017-05-18 10:58:14

    Menggunakan Head untuk meminta bolehkah lebih cepat?

    balas
    0
  • Batalbalas