PHP は最も単純なクローラー プロトタイプを実装します

最も単純なクローラー モデルは次のようになります。初期 URL が与えられると、クローラーはコンテンツをプルダウンし、ページ内の URL を見つけ、これらの URL を開始点として使用してクロールを開始します。

以下は、PHP で実装された最も単純なクローラー モデルです。

2. /**
3. * クローラー プログラム -- プロトタイプ
4. *
5. * BookMoth 2009-02-21
6. */
7. /**
8. * 指定された URL から HTML コンテンツを取得します
9. *
10. * @param string $url
11. * @戻り文字列
12. */
13. 関数_getUrlContent($url){
14. $handle = fopen($url, "r");
15. if($handle){
16. $content = stream_get_contents($handle,1024*1024);
17. $content を返す;
18. }その他{
19. false を返す;
20. }
21. }
22. /**
23. * HTML コンテンツからリンクをフィルタリングします
24. *
25. * @param string $web_content
26. * @return array
27. */
28. 関数_filterUrl($web_content){
29. $reg_tag_a = '/'" ]*).*?>/';
30. $result = preg_match_all($reg_tag_a,$web_content,$match_result);
31. if($result){
32. return $match_result[1];
33. }
34. }
35. /**
36. * 正しい相対パス
37. *
38. * @param string $base_url
39. * @param array $url_list
40. * @return array
41. */
42. function _reviseUrl($base_url,$url_list){
43. $url_info = parse_url($base_url);
44. $base_url = $url_info["スキーム"].'://';
45. if($url_info["user"]&&$url_info["pass"]){
46. $base_url .= $url_info["user"].":".$url_info["pass"]."@";
47. }
48. $base_url .= $url_info["ホスト"];
49. if($url_info["ポート"]){
50. $base_url .= ":".$url_info["port"];
51. }
52. $base_url .= $url_info["パス"];
53. print_r($base_url);
54. if(is_array($url_list)){
55. foreach ($url_list as $url_item) {
56. if(preg_match('/^http/',$url_item)){
57. //已经是完全的url
58. $result[] = $url_item;
59. }その他 {
60. //不完全なurl
61. $real_url = $base_url.'/'.$url_item;
62. $result[] = $real_url;
63. }
64. }
65. $result を返す;
66. }else {
67. 戻る;
68. }
69. }
70. /**
71. * 爬虫
72. *
73. * @param string $url
74. * @return array
75. */
76. 関数クローラー($url){
77. $content = _getUrlContent($url);
78. if($content){
79. $url_list = _reviseUrl($url,_filterUrl($content));
80. if($url_list){
81. $url_list を返す;
82. }else {
83. 戻る;
84. }
85. }それ以外{
86. 戻る;
87. }
88. }
89. /**
90. * テスト用のメインプログラム
91. *
92. */
93. 関数 main(){
94. $current_url = "http://hao123.com/";//最初のurl
95. $fp_puts = fopen("url.txt","ab");//记录url列表
96. $fp_gets = fopen("url.txt","r");//保存url列表
97. してください{
98. $result_url_arr = クローラー($current_url);
99. if($result_url_arr){
100. foreach ($result_url_arr as $url) {
101. fputs($fp_puts,$url."rn");
102. }
103. }
104. }while($current_url = fgets($fp_gets,1024));//不断获得url
105. }
106. メイン();
107. ?>

もちろん、この爬虫類はまだ次の進化を遂げる必要があります:

1. より正確な URL リンクを貼り付けます。現在のリンクの形式が正しくない可能性があります。

2. 重複した URL リンクを削除できます。今日のクローラーは多くの反復作業を実行します。

3. 環状道路を怖がるクローラーを避ける。常に右折する車は環状 300 号線のみを走行でき、他の場所には行けません。

4. マルチスレッドまたはマルチプロセス。 PHP にはスレッドの概念がないため、それをシミュレートするにはシェルのようなものが必要になる場合があります。

5. ...漢字 2 の N 乗を省略します。

とにかく、考えてみてください~

http://blog.csdn.net/bookmoth/archive/2009/02/21/3916538.aspx より