cari

Rumah  >  Soal Jawab  >  teks badan

python - DHT 爬虫每次只能获取固定数目的 ip 数

想写一个基于 DHT 网络的磁力链接爬虫，参考网上的实现写了一个。刚开始运行的时候还行，可是最近几天遇到了怪事，每次启动爬虫都获取不到 peer 发出的 announce ，添加调试信息发现获取的 ip 数一直保持在 1261 个左右，不再改变。如果超过 1261 这个数值就很快到达 10000 ，然后能成功获取到 announce ，刚开始以为是局域网的原因，所以转到了阿里云上用独立 ip 测试，发现了是一样的结果，也只能获取 1261 个左右 ip ，各位对此有什么见解吗？

另附上主要参考的 dht 爬虫代码：(simDHT)[https://github.com/Fuck-You-GFW/simDHT]，各位也可是试下看是否遇到相同情况。

另外经过测试每次获取到的1261个地址是一样的。

巴扎黑巴扎黑2781 hari yang lalu804

membalas semua(2)saya akan balas

  • 迷茫

    迷茫2017-04-17 17:52:42

    应该是程序bug，如果用的是node.js可以参考一下我的dhtspider，内网一样一分钟上百个infohash。
    dhtspider。代码就200行以内。
    也可以参考一下我做的engiy.com磁力搜索，BT搜索

    balas
    0
  • PHP中文网

    PHP中文网2017-04-17 17:52:42

    https://segmentfault.com/a/1190000002528510 直接用这个吧，源码都公开了

    balas
    0
  • Batalbalas