python - Pyspider url列表溢出 UnicodeError: label empty or too long

Question

需要抓取url大概为12000个左右，Pyspider报错，

报错提示：
UnicodeError: encoding with 'idna' codec failed (UnicodeError: label empty or too long)

这该如何解决，我刚刚接触这个框架的爬虫，不是很了解，还有个问题是，这个框架可以通过python脚本来调用吗？

Answer 1

Les scripts Crawler sont stockés dans la base de données par défaut et ne prennent pas en charge les appels de script directs.
De plus, UnicodeError est évidemment une erreur de codage. Vous pouvez publier les informations d'erreur spécifiques

.