찾다

 >  Q&A  >  본문

python - DHT 爬虫每次只能获取固定数目的 ip 数

想写一个基于 DHT 网络的磁力链接爬虫,参考网上的实现写了一个。刚开始运行的时候还行,可是最近几天遇到了怪事,每次启动爬虫都获取不到 peer 发出的 announce ,添加调试信息发现获取的 ip 数一直保持在 1261 个左右,不再改变。如果超过 1261 这个数值就很快到达 10000 ,然后能成功获取到 announce ,刚开始以为是局域网的原因,所以转到了阿里云上用独立 ip 测试,发现了是一样的结果,也只能获取 1261 个左右 ip ,各位对此有什么见解吗?

另附上主要参考的 dht 爬虫代码:(simDHT)[https://github.com/Fuck-You-GFW/simDHT],各位也可是试下看是否遇到相同情况。

另外经过测试每次获取到的1261个地址是一样的。

巴扎黑巴扎黑2768일 전790

모든 응답(2)나는 대답할 것이다

  • 迷茫

    迷茫2017-04-17 17:52:42

    node.js를 사용한다면 제 dhtspider를 참고하시면 됩니다. 인트라넷에는 분당 수백 개의 infohash가 있습니다.
    dhtspider. 코드는 200줄 미만입니다.
    제가 했던 engiy.com 마그넷 검색과 BT 검색도 참고하실 수 있습니다

    회신하다
    0
  • PHP中文网

    PHP中文网2017-04-17 17:52:42

    https://segmentfault.com/a/1190000002528510 이것만 사용하세요, 소스코드는 공개되어 있습니다

    회신하다
    0
  • 취소회신하다