php 如何精准获取网站中的所有超链接？-php教程-PHP中文網

首頁

後端開發

php教程

php 如何精准获取网站中的所有超链接？

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 06, 2016 pm 08:22 PM

php

想获取网站中的所有超链接，使用的是php snoopy类

<code>$sourceURL = $url;
$snoopy->fetchlinks($sourceURL);
$content = $snoopy->results;</code>

获取的结果如下：

<code>array (size=627)
  0 => string 'http://www.alibaba.com/https://login.alibaba.com/' (length=49)
  1 => string 'http://sh.vip.alibaba.com?tracelog=nav_ma' (length=41)
  2 => string 'http://message.alibaba.com/feedback/default.htm?routeto=inbox&tracelog=nav_ma_mc' (length=80)
  3 => string 'http://www.alibaba.com//hz-favorite.alibaba.com/favorite/favorite_home.htm?tracelog=nav_ma_fav' (length=94)
  4 => string 'http://rfq.alibaba.com/form.htm?tracelog=header_myalibaba' (length=57)
  5 => string 'http://hz.sourcing.alibaba.com/rfq/request/rfq_manage_list.htm?tracelog=nav_ma_mana_rfq' (length=87)
  6 => string 'http://biz.alibaba.com/generalorders/list_orders.htm?tracelog=ma_mana_orders' (length=76)
  7 => string 'http://sh.vip.alibaba.com/product/post_product_interface.htm?tracelog=newschp_nav_madp' (length=86)
  8 => string 'http://sh.vip.alibaba.com/product/manage_products.htm?tracelog=newschp_nav_mamng' (length=80)
  9 => string 'http://hz.sourcing.alibaba.com/rfq/quotation/rfq_not_quoted_manage_list.htm?nav_ma_rec_rfqs' (length=91)
  10 => string 'http://www.alibaba.com/javascript:;' (length=35)
  11 => string 'http://www.alibaba.com/Products?tracelog=beacon_cate_140704' (length=59)
  12 => string 'http://rfq.alibaba.com/form.htm?tracelog=header_forbuyers' (length=57)
  13 => string 'http://globalexpo.alibaba.com?tracelog=beacon_expo_150820' (length=57)
  14 => string 'http://wholesale.alibaba.com?tracelog=nav_ws' (length=44)
  15 => string 'http://buyer.alibaba.com/bizid_buyer?tracelog=nav_bi' (length=52)
  16 => string 'http://tradeassurance.alibaba.com/bao/buyer_advertise.htm?tracelog=from_home_menu' (length=81)
  17 => string 'http://activities.alibaba.com/alibaba/secure-payment.php?tracelog=beacon_payment_150114' (length=87)
  18 => string 'http://ecredit.alibaba.com/ecl/buyer.htm?tracelog=beacon_credit_140704' (length=70)
  19 => string 'http://inspection.alibaba.com/?tracelog=beacon_is_140704' (length=56)
  20 => string 'http://buyer.alibaba.com/intelligence?tracelog=beacon_ti_140704' (length=63)
  21 => string 'http://buyer.alibaba.com/forum?tracelog=beacon_df_140704' (length=56)
  22 => string 'http://ask.alibaba.com/?tracelog=beacon_ta_140704' (length=49)
  23 => string 'http://www.alibaba.com/javascript:;' (length=35)
  24 => string 'http://seller.alibaba.com/memberships/index.html?tracelog=seller_channel_member_hp_header' (length=89)
  25 => string 'http://seller.alibaba.com/learningcenter?tracelog=seller_channel_lc_hp_header' (length=77)
  26 => string 'http://seller.alibaba.com/training.htm?tracelog=seller_channel_training_hp_header' (length=81)
  27 => string 'http://sourcing.alibaba.com/?tracelog=newschp_nav_narfq' (length=55)
  28 => string 'http://www.alibaba.com/javascript:;' (length=35)</code>

怎么能把“http://www.alibaba.com/javascript:;”类似的URL去掉？

回复内容：

想获取网站中的所有超链接，使用的是php snoopy类

<code>$sourceURL = $url;
$snoopy->fetchlinks($sourceURL);
$content = $snoopy->results;</code>

获取的结果如下：

<code>array (size=627)
  0 => string 'http://www.alibaba.com/https://login.alibaba.com/' (length=49)
  1 => string 'http://sh.vip.alibaba.com?tracelog=nav_ma' (length=41)
  2 => string 'http://message.alibaba.com/feedback/default.htm?routeto=inbox&tracelog=nav_ma_mc' (length=80)
  3 => string 'http://www.alibaba.com//hz-favorite.alibaba.com/favorite/favorite_home.htm?tracelog=nav_ma_fav' (length=94)
  4 => string 'http://rfq.alibaba.com/form.htm?tracelog=header_myalibaba' (length=57)
  5 => string 'http://hz.sourcing.alibaba.com/rfq/request/rfq_manage_list.htm?tracelog=nav_ma_mana_rfq' (length=87)
  6 => string 'http://biz.alibaba.com/generalorders/list_orders.htm?tracelog=ma_mana_orders' (length=76)
  7 => string 'http://sh.vip.alibaba.com/product/post_product_interface.htm?tracelog=newschp_nav_madp' (length=86)
  8 => string 'http://sh.vip.alibaba.com/product/manage_products.htm?tracelog=newschp_nav_mamng' (length=80)
  9 => string 'http://hz.sourcing.alibaba.com/rfq/quotation/rfq_not_quoted_manage_list.htm?nav_ma_rec_rfqs' (length=91)
  10 => string 'http://www.alibaba.com/javascript:;' (length=35)
  11 => string 'http://www.alibaba.com/Products?tracelog=beacon_cate_140704' (length=59)
  12 => string 'http://rfq.alibaba.com/form.htm?tracelog=header_forbuyers' (length=57)
  13 => string 'http://globalexpo.alibaba.com?tracelog=beacon_expo_150820' (length=57)
  14 => string 'http://wholesale.alibaba.com?tracelog=nav_ws' (length=44)
  15 => string 'http://buyer.alibaba.com/bizid_buyer?tracelog=nav_bi' (length=52)
  16 => string 'http://tradeassurance.alibaba.com/bao/buyer_advertise.htm?tracelog=from_home_menu' (length=81)
  17 => string 'http://activities.alibaba.com/alibaba/secure-payment.php?tracelog=beacon_payment_150114' (length=87)
  18 => string 'http://ecredit.alibaba.com/ecl/buyer.htm?tracelog=beacon_credit_140704' (length=70)
  19 => string 'http://inspection.alibaba.com/?tracelog=beacon_is_140704' (length=56)
  20 => string 'http://buyer.alibaba.com/intelligence?tracelog=beacon_ti_140704' (length=63)
  21 => string 'http://buyer.alibaba.com/forum?tracelog=beacon_df_140704' (length=56)
  22 => string 'http://ask.alibaba.com/?tracelog=beacon_ta_140704' (length=49)
  23 => string 'http://www.alibaba.com/javascript:;' (length=35)
  24 => string 'http://seller.alibaba.com/memberships/index.html?tracelog=seller_channel_member_hp_header' (length=89)
  25 => string 'http://seller.alibaba.com/learningcenter?tracelog=seller_channel_lc_hp_header' (length=77)
  26 => string 'http://seller.alibaba.com/training.htm?tracelog=seller_channel_training_hp_header' (length=81)
  27 => string 'http://sourcing.alibaba.com/?tracelog=newschp_nav_narfq' (length=55)
  28 => string 'http://www.alibaba.com/javascript:;' (length=35)</code>

怎么能把“http://www.alibaba.com/javascript:;”类似的URL去掉？

QueryList

<?php
//采集某页面所有的图片
$data = QueryList::Query('http://cms.querylist.cc/bizhi/453.html',['image' => ['img','src']])->data;
//打印结果
print_r($data);

//采集某页面所有的超链接
$data = QueryList::Query('http://cms.querylist.cc/google/list_1.html',['link' => ['a','href']])->data;
//打印结果
print_r($data);

http://git.oschina.net/jae/QueryList
可以看下这个，比snoopy要强大一些，支持jquery选择器语法

陳述

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

繼續使用PHP：耐力的原因Apr 19, 2025 am 12:23 AM

PHP仍然流行的原因是其易用性、靈活性和強大的生態系統。 1)易用性和簡單語法使其成為初學者的首選。 2)與web開發緊密結合，處理HTTP請求和數據庫交互出色。 3)龐大的生態系統提供了豐富的工具和庫。 4)活躍的社區和開源性質使其適應新需求和技術趨勢。

PHP和Python：探索他們的相似性和差異Apr 19, 2025 am 12:21 AM

PHP和Python都是高層次的編程語言，廣泛應用於Web開發、數據處理和自動化任務。 1.PHP常用於構建動態網站和內容管理系統，而Python常用於構建Web框架和數據科學。 2.PHP使用echo輸出內容，Python使用print。 3.兩者都支持面向對象編程，但語法和關鍵字不同。 4.PHP支持弱類型轉換，Python則更嚴格。 5.PHP性能優化包括使用OPcache和異步編程，Python則使用cProfile和異步編程。

PHP和Python：解釋了不同的範例Apr 18, 2025 am 12:26 AM

PHP主要是過程式編程，但也支持面向對象編程（OOP）；Python支持多種範式，包括OOP、函數式和過程式編程。 PHP適合web開發，Python適用於多種應用，如數據分析和機器學習。

PHP和Python：深入了解他們的歷史Apr 18, 2025 am 12:25 AM

PHP起源於1994年，由RasmusLerdorf開發，最初用於跟踪網站訪問者，逐漸演變為服務器端腳本語言，廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發，1991年首次發布，強調代碼可讀性和簡潔性，適用於科學計算、數據分析等領域。

在PHP和Python之間進行選擇：指南Apr 18, 2025 am 12:24 AM

PHP適合網頁開發和快速原型開發，Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發，語法簡單，適合快速開發。 2.Python語法簡潔，適用於多領域，庫生態系統強大。

PHP和框架：現代化語言Apr 18, 2025 am 12:14 AM

PHP在現代化進程中仍然重要，因為它支持大量網站和應用，並通過框架適應開發需求。 1.PHP7提升了性能並引入了新功能。 2.現代框架如Laravel、Symfony和CodeIgniter簡化開發，提高代碼質量。 3.性能優化和最佳實踐進一步提升應用效率。

PHP的影響：網絡開發及以後Apr 18, 2025 am 12:10 AM

PHPhassignificantlyimpactedwebdevelopmentandextendsbeyondit.1)ItpowersmajorplatformslikeWordPressandexcelsindatabaseinteractions.2)PHP'sadaptabilityallowsittoscaleforlargeapplicationsusingframeworkslikeLaravel.3)Beyondweb,PHPisusedincommand-linescrip

PHP類型提示如何起作用，包括標量類型，返回類型，聯合類型和無效類型？Apr 17, 2025 am 12:25 AM

PHP類型提示提升代碼質量和可讀性。 1)標量類型提示：自PHP7.0起，允許在函數參數中指定基本數據類型，如int、float等。 2)返回類型提示：確保函數返回值類型的一致性。 3)聯合類型提示：自PHP8.0起，允許在函數參數或返回值中指定多個類型。 4)可空類型提示：允許包含null值，處理可能返回空值的函數。

See all articles