node.js - node crawler, comment utiliser le pool IP pour empêcher l'anti-crawling ?
Le problème est le suivant. Je viens de commencer à apprendre le nœud. Bien sûr, c'est évidemment pour les robots. Ensuite, j'ai récemment lu un roman, mais il y avait trop de publicités sur ces sites Web de romans gratuits, j'ai donc prévu d'écrire un robot pour parcourir l'intégralité du roman, mais le nombre de demandes d'URL était trop fréquent, de sorte qu'il serait inversé. -exploré et bloqué. J'ai essayé d'augmenter l'intervalle de requête pour l'éviter, mais je n'ai trouvé aucun effet. J'ai accidentellement découvert que je pouvais changer l'adresse IP pour l'éviter. Cependant, il y a trop peu de ressources dans ce domaine sur Baidu. , alors je suis venu ici pour demander aux experts. Si vous savez quelque chose, vous pouvez le partager juste un instant, merci, mon Dieu.
Je voudrais souligner que le problème est de savoir comment changer l'adresse IP du nœud pour éviter l'anti-escalade
Les frameworks utilisés incluent superagent, cheerio, async... Merci, mon Dieu.
Code :
var superagent = require('superagent');
var cheerio = require('cheerio');
var file = require('./writeText.js');
require('superagent-charset')(superagent);
var str = '';
var count = 150;
var fetchUrl = function (url, callback, len) {
count++;
getArticle(url, callback, len);
}
function getArticle (url, callback, len) {
superagent.get(url)// 'http://m.kanshuzw.com/4/4201/'
.proxy(proxy)
.charset('gbk')
.end(function (err, sres) {
if (err) {
return console.error(err);
} else {
var $ = cheerio.load(sres.text);
file.writeFile($('#nr_title').text() + '\n' + $('#nr').text(), 'C:\Users\Administrator\Desktop\nodeTextTest\writeFileTest-' + count + '.txt');
$('.nr_page .dise').each(function (idx, element) {
var $element = $(element);
if ($element.text() === '下一页') {
superagent.get('http://m.kanshuzw.com' + $element.attr('href'))
.set("X-Forwarded-For", ip)
.proxy(proxy)
.charset('gbk')
.end(function (err, sres) {
if (err) {
console.log('2 error end.');
return console.error(err);
}
var $ = cheerio.load(sres.text);
file.appendFile($('#nr_title').text() + '\n' + $('#nr').text(), 'C:\Users\Administrator.lic-PC\Desktop\nodeTextTest\writeFileTest-' + count + '.txt');
console.log('progress: ' + count + '/' + len);
callback(null, url + ' html content');
});
} else if ((idx + 1) === $('.nr_page .dise').length) {
console.log('progress: ' + count + '/' + len);
callback(null, url + ' html content');
}
});
}
})
}
En attendant le grand Dieu
