PHP 일반은 전체 도메인 이름으로 이미지를 가져옵니다.

코드 소스: jUnion

적용 플랫폼: Windows, Linux(Ubuntu), php-5.2.5, Apache

기능: 전체 사이트 이미지 캡처, PHP를 사용한 컬 플러그인 개발 없음 아직, 추후 개선 예정

구성: config 디렉터리
domain_name: 도메인 이름(기본값: bizhibar.com)
request_site: 웹사이트 URL(기본값: http://www.bizhibar. com/)
request_url: 시작할 웹사이트 페이지 (기본값: http://www.bizhibar.com/)
accept_type: 이미지 유형 (기본값: gif, bmp, png, ico, jpg, jpeg)
save_path: 이미지 저장 경로(기본값: savefiles/)
partition_name: 이미지 저장 디렉터리 이름 접두사(기본값: img_)
dir_file_limit: 각 디렉터리에서 허용하는 파일 수(기본값: 100)
serialize_img_size: 읽을 때 캐시 디렉터리의 accompImg 파일에 몇 개의 이미지 주소가 캐시되어 있습니까? 이 주소는 다음에 크롤링을 계속할 때 무시됩니다. (기본값: 30)
serialize_url_size: serialize_url_size와 동일하며, 캐시 디렉터리
아래의 overURL에 캐싱하기 전에 읽은 링크 주소 수입니다. 이 주소는 다음에 크롤링을 계속할 때 무시됩니다. (기본값: 10)

참고: 새로운 질문이나 개선이 필요한 부분이 있으면 피드백을 보내주세요.

set_time_limit(0);
dirname 필요(__FILE__).DIRECTORY_SEPARATOR.'include'.DIRECTORY_SEPARATOR.'Capture.const.php';
__Home__.'include'.__Os__.'Capture.class.php';

$_cfg = array(
 'site' => __Home__.'config'.__Os__.'capture가 필요합니다. site.php',
 'preg' => __Home__.'config'.__Os__.'capture.preg.php',
 'accompImg' => __Home__.'cache'.__Os__.'accompImg' ,
 'overURL' => __Home__.'cache'.__Os__.'overURL'
);

$_parse = new Capture( $_cfg );
$_parse-> );

?>

/**
 * 主班
 * @author pankai
 * @date 2013-08-10
*/
class Capture {
 private static $_Config = array();

 private static $_CapSite = NULL;
 private static $_CapPreg = NULL;

 private static $_overURL = array();

 private $. _markTime = 1;
 /**
 * 初始化主類別：Capture
 * @param $_cfg array
*/
 public function __construct( &$_cfg ) {
 self::$_Config = &$_cfg;

 self:: _CapSite = 需要$_cfg['site'];
 self::$_CapPreg = 需要$_cfg['preg'];

 foreach( self::$_CapPreg as $_key => $ _value ) {
 self::$_CapPreg[$_key] = str_replace( '_request_site', self::$_CapSite['request_site'], $_value );
 }

 self::import( 'file.OperateFile' );
 if( file_exists( $_cfg['overURL'] ) && filesize( $_cfg['overURL'] ) > 0 ) {
 $_contents = OperateFile::readText ( $_cfgread ['overURL'], filesize( $_cfg['overURL'] ) );
 self::$_overURL = unserialize( $_contents );
 }

 self::import ('pivotal::import ('pivotal::import ('pivotal::import) .Pivotal');
 if( file_exists( $_cfg['accompImg'] ) && filesize( $_cfg['accompImg'] ) > 0 ) {
 $_contents = OperateFilereadread( $cfg::read; accompImg'], 檔案大小( $_cfg['accompImg'] ) );
 Pivotal::$_accompImg = unserialize( $_contents );
 }

 }
 /*/
 public static function import( $_class ) {
 require_once __Home__.'include'.__Os__.str_replace( '.' , __Os__, $_class ).'.class.php';
; }

 /**
 * 載入類，遵循Java pragrammer(package): import com.jUnion.Capture
 * @param $_class
*/
 private function getCapInstance( &$_source ) {
 $this- >_mark = FALSE;

 $_Captal self ::$_Config, $_source );
 $_tagA = $_Captal->parseUrl();

 $ this->_mark = TRUE;

 return $_tagA;
 }

 /**
 * 建立 Pivotal 類別的實例
 * @param $_source
*/
 原生函數roundTagA( &$_tagArr ) {
 if( $_tagArr == NULL ) {
 return;
 }
 $_tagArrLength = count( $_tagArr );
 for( $i = 0; $i  if( is_array( $_tagArr[ $i ] ) ) {
 $this->roundTagA( $_tagArr[ $i ] );
 }
 else {
 if( stripos( $_tagArr[$i], self::$_CapSite['domain_name'] )
 === FALSE ) {
 繼續;
 }
 if( in_array( $_tagArr[$i], self::$_overURL ) ) {
 繼續;
 }
 self::$_overURL[] = $_tagArr[$i] ;
 if( count( self::$_overURL ) % self::$_CapSite['serialize_url_size'] == 0 ) {
 OperateFile::setText( self::$_Config['overURL'], 序列化( self::$_overURL ) );
 }
 做{
 $_tagA = $this->getCapInstance( Http::get( $_tagArr[$i] ) );
 sleep( self::$_CapSite['preform_page_time'] * self::$_markTime );
 if( $this->_mark === TRUE ) {
 self::$_markTime = self::$_CapSite[ ' preform_page_time'];
 break;
 }
 self::$_markTime *= 2;
 } while( true );
 /* 解析首頁並傳回下一頁*/
 $this->roundTagA( $_tagA );
 }
 }
 }

 public function parseQuestUrl() {
 self::import('http.Http ');
 $_round_Arr = $this->getCapInstance( Http::get( self::$_CapSite['request_url'] ) );
 $this->roundTagA( $_round_Arr );
 }
}
?>


複製程式碼