ホームページ > 記事 > ウェブフロントエンド > ノードに http クローラーを実装する方法
ノードに http クローラーを実装する方法
- 亚连オリジナル
- 2018-06-12 15:04:121388ブラウズ
この記事では主にノードベースの http クローラーのサンプル コードを紹介し、参考として提供します。
寝ているかどうかに関係なく、顧客サービスからサーバーへ、そしてサーバーからサーバーへ、インターネット上ではあらゆる瞬間に大量のデータが行き来します。 http の get およびリクエストによって完了する役割は、データを取得して送信することです。次に、初心者向けチュートリアルのノードに関する章のコース インターフェイスをクロールするための単純な小さなクローラーの作成を開始します。
Node.jsチュートリアルのホームページにあるすべてのデータをクロールします
node-http.jsを作成します。コードは次のとおりです。コードには詳細なコメントがあり、自分で理解できます
var http=require('http');//获取http模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
console.log(html)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})ターミナルの実行結果でこのページを見つけました。すべての HTML がクロールされました
G:\node\node-http> node node-http.js <!Doctype html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <meta property="qc:admins" content="465267610762567726375" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>Node.js 教程 | 菜鸟教程</title> <link rel='dns-prefetch' href='//s.w.org' /> <link rel="canonical" href="http://www.runoob.com/nodejs/nodejs-tutorial.html" /> <meta name="keywords" content="Node.js 教程,node,Node.js,nodejs"> <meta name="description" content="Node.js 教程 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台 。 Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 谁适合阅读本教程？ 如果你是一个前端程序员，你不懂得像PHP、Python或Ruby等动态编程语言，.."> <link rel="shortcut icon" href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" mce_href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" type="image/x-icon"> <link rel="stylesheet" href="/wp-content/themes/runoob/style.css?v=1.141" rel="external nofollow" type="text/css" media="all" /> <link rel="stylesheet" href="//cdn.bootcss.com/font-awesome/4.7.0/css/font-awesome.min.css" rel="external nofollow" media="all" /> <!--[if gte IE 9]><!--> 。。。。。。。。。。 这里只展示部分不然你半天看不到头
もちろん、HTML をクロールしても役に立ちません。たとえば、このノードのチュートリアルでは、何を行う必要があります。コースカタログがあるので、興味のあるものを選んで勉強することができます。コードに直接進みましょう:
その前に、cheerio モジュールをダウンロードする必要があります (cheerio は、nodejs のページ クローリング モジュールであり、サーバー用に特別にカスタマイズされた高速で柔軟な実装された jQuery コア実装です。さまざまな Web クローラー プログラムに適しています) ) 詳しい紹介は自分で検索できますが、cheerio の使い方は jquery の使い方とよく似ているので、心配する必要はありません。
PS G:\node\node-http> npm install cheerio
node-http-more.jsを作成します。コードは次のとおりです:
var http=require('http');//获取http模块
var cheerio=require('cheerio');//引入cheerio模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
// filer node chapter
function filerNodeChapter(html){
// 将爬取得HTML装载起来
var $=cheerio.load(html);
// 拿到左侧边栏的每个目录
var nodeChapter=$('#leftcolumn a');
//这里我希望我能获取的到的最终数据格式这个样子的,如此我们能知道每个目录的地址及标题
/**
* [{id:,title:}]
*/
var chapterData=[];
nodeChapter.each(function(item){
// 获取每项的地址及标题
var id=$(this).attr('href');
var title=$(this).text();
chapterData.push({
id:id,
title:title
})
})
return chapterData;
}
//获取每个数据
function getChapterData(nodeChapter){
nodeChapter.forEach(function(item){
console.log(' 【 '+item.id+' 】'+item.title+'\n')
});
}
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
//console.log(html)
// 过滤出node.js的课程目录
var nodeChapter= filerNodeChapter(html);
//循环打印所获取的数据
getChapterData(nodeChapter)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})ターミナルの実行結果とコースカタログを出力します
G:\node\node-http> node node-http-more.js 【 /nodejs/nodejs-tutorial.html 】 Node.js 教程 【 /nodejs/nodejs-install-setup.html 】 Node.js 安装配置 【 /nodejs/nodejs-http-server.html 】 Node.js 创建第一个应用 【 nodejs-npm.html 】 NPM 使用介绍 【 nodejs-repl.html 】 Node.js REPL 【 nodejs-callback.html 】 Node.js 回调函数 【 nodejs-event-loop.html 】 Node.js 事件循环 【 nodejs-event.html 】 Node.js EventEmitter 【 nodejs-buffer.html 】 Node.js Buffer 【 nodejs-stream.html 】 Node.js Stream 【 /nodejs/nodejs-module-system.html 】 Node.js 模块系统 。。。。。。。。。。。 这里就不全部给出，你可以自己尝试着运行操作查看所有结果
上記は、私が皆さんのためにまとめたものです。皆さんのお役に立てれば幸いです。将来。
関連記事:
React および Vue プロジェクトで SVG を使用する方法
vue2.0.js を使用してマルチレベルリンケージセレクターを実装する
以上がノードに http クローラーを実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。