NodeJsクローラーの使い方

今回はnodeJsクローラーの使い方と、nodeJsクローラーを使用する際の注意点を紹介します。実際の事例を見てみましょう。

背景

最近、以前に見たnodeJs関連のコンテンツを復習し、退屈を紛らわすためにいくつかのクローラーを書くつもりです。クローラーのプロセス中にいくつかの問題を見つけたので、メモとして記録します。

依存関係

クロールされたコンテンツを処理するためにインターネットで人気のある Cheerio ライブラリを使用し、リクエストの処理には superagent が使用され、ログの記録には log4js が使用されます。

ログの設定

あまり言うことはありません。コードに直接進みましょう:

const log4js = require('log4js');
log4js.configure({
 appenders: {
  cheese: {
   type: 'dateFile',
   filename: 'cheese.log',
   pattern: '-yyyy-MM-dd.log',
   // 包含模型
   alwaysIncludePattern: true,
   maxLogSize: 1024,
   backups: 3 }
 },
 categories: { default: { appenders: ['cheese'], level: 'info' } }
});
const logger = log4js.getLogger('cheese');
logger.level = 'INFO';
module.exports = logger;

上記は、ロガー オブジェクトを直接エクスポートし、ビジネス ファイル内の logger.info() およびその他の関数を直接呼び出して、ログ情報を追加します。 、毎日のログが生成されます。インターネット上には関連情報がたくさんあります。

コンテンツをクロールして処理します

 superagent.get(cityItemUrl).end((err, res) => {
  if (err) {
   return console.error(err);
  }
  const $ = cheerio.load(res.text);
  // 解析当前页面,获取当前页面的城市链接地址
  const cityInfoEle = $('.newslist1 li a');
  cityInfoEle.each((idx, element) => {
   const $element = $(element);
   const sceneURL = $element.attr('href'); // 页面地址
   const sceneName = $element.attr('title'); // 城市名称
   if (!sceneName) {
    return;
   }
   logger.info(`当前解析到的目的地是: ${sceneName}, 对应的地址为: ${sceneURL}`);
   getDesInfos(sceneURL, sceneName); // 获取城市详细信息
   ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
    const content = JSON.parse(fs.readFileSync(path.join(dirname, './imgs.json')));
    dirInfos.forEach((element) => {
     logger.info(`本条数据为:${JSON.stringify(element)}`);
     Object.assign(content, element);
    });
    fs.writeFileSync(path.join(dirname, './imgs.json'), JSON.stringify(content));
   });
  });
 });

スーパーエージェントを使用してページをリクエストします。リクエストが成功した後、cheerioを使用してページのコンテンツをロードし、Jqueryと同様のマッチングルールを使用してターゲットリソースを見つけます。

複数のリソースがロードされ、eventproxy を使用してイベントをプロキシし、1 つのリソースを処理して 1 つのイベントを処罰し、すべてのイベントがトリガーされた後にデータを処理します。

上記は最も基本的なクローラーです。次に、問題が発生する可能性がある、または特別な注意が必要ないくつかの領域を示します。 。 。

ローカルファイルの読み取りと書き込み

フォルダーの作成

function mkdirSync(dirname) {
 if (fs.existsSync(dirname)) {
  return true;
 }
 if (mkdirSync(path.dirname(dirname))) {
  fs.mkdirSync(dirname);
  return true;
 }
 return false;
}

ファイルの読み取りと書き込み

   const content = JSON.parse(fs.readFileSync(path.join(dirname, './dir.json')));
   dirInfos.forEach((element) => {
    logger.info(`本条数据为:${JSON.stringify(element)}`);
    Object.assign(content, element);
   });
   fs.writeFileSync(path.join(dirname, './dir.json'), JSON.stringify(content));

リソースをバッチでダウンロード

ダウンロードされるリソースには、画像、音声などが含まれる場合があります。

Bagpipe を使用して非同期同時実行を処理します。

const Bagpipe = require('bagpipe');
const bagpipe = new Bagpipe(10);
  bagpipe.push(downloadImage, url, dstpath, (err, data) => {
   if (err) {
    console.log(err);
    return;
   }
   console.log(`[${dstpath}]: ${data}`);
  });

を参照してリソースをダウンロードし、ストリームを使用してファイルの書き込みを完了します。

function downloadImage(src, dest, callback) {
 request.head(src, (err, res, body) => {
  if (src && src.indexOf('http') > -1 || src.indexOf('https') > -1) {
   request(src).pipe(fs.createWriteStream(dest)).on('close', () => {
    callback(null, dest);
   });
  }
 });
}

エンコーディング

cheerio.loadを使用して直接処理されたWebコンテンツは、ファイルの書き込み後にエンコードされたテキストであることが判明する場合があります。

const $ = cheerio.load(buf, { decodeEntities: false });

、

ps:エンコーディングライブラリとiconv-liteを介してエンコーディングを無効にすることができます。 UTF-8 でエンコードされた文字を中国語に変換することはできません。API に慣れていない可能性があります。後で注意してください。

最後に、すべての dom タグに一致する正規表現を添付します

const reg = /<.*?>/g;

この記事の事例を読んだ後は、この方法を習得したと思います。さらに興味深い情報については、PHP 中国語 Web サイトの他の関連記事に注目してください。

推奨書籍:

js を使用して ajax 関数をカプセル化する方法とその使用法

JS の一般的な組み込み関数の使用方法の詳細な説明

以上がNodeJsクローラーの使い方の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。