搜尋

首頁 >後端開發 >php教程 >從請求的頁面提取關鍵字

從請求的頁面提取關鍵字

WBOY
WBOY原創
2016-07-25 08:49:341100瀏覽
}
它可以從一個給定的URL檢索網頁中提取出一些關鍵字

例如從代碼珠璣的首頁可以提取出類似下面圖片中的關鍵字 從請求的頁面提取關鍵字 從請求的頁面提取關鍵字
  2. if(!empty($_REQUEST["url"])){
  4. include 'class.keywords.php' ;
  6. $keywords = new keywordsugest();
  7. $keywords->_lang = 'es';
  8. $keywords->_encoding = 'iso-8859-1';
  9. $keywords ->_catego = 'telecom';
  10. $keywords->_keyCount = 100; // is like the porcent %
  11. $keywords->file($_REQUEST['url']);
  13. #$keywords->readMetaKeyWords();
  15. #$keywords->readHtmlKeyWords();
  17. $keywords->readAll();
  19. echoKey /br>';
  21. $i = 1;
  23. foreach($keywords->get() as $word) echo $i .". $word
    ";
  24. }
  25. //url例如：http://www.codepearl.com
  26. echo "
    ";
  29. ?>
複製程式碼
  2. class keywordsugest{
  4. var $_html = FALSE;
  5. var $_keyCount = 5; _keyWords = array();
  6. var $_encoding = 'UTF-8';
  7. var $_lang = 'es';
  8. var $_catego = '電信';
  9. var $_url = '' ;
  11. /**
  12. * # 讀取元關鍵字
  13. *
  14. */
  15. public function readMetaKeyWords() {
  17. if (! $this->_html) return ;
  19. preg_match(' /"]*)"?[s]*[/]?[s]*>/is', $this->_html, $match);
  21. //$tags = get_meta_tags($ this->_url);
  22. //echo $tags['keywords']
  25. if (count($match) ) {
  26. $this->_keyWords = array_unique(explode( ',', preg_replace('/s/i', ' ', mb_strtolower($match[1], $this->_encoding)))) ;
  27. }
  28. }
  30. /* *
  31. * 剝離標籤
  32. *
  33. * @param mix $string
  34. */
  35. private function rip_tags($string) {
  37. // ----- 刪除HTML 標籤-----
  38. $string = preg_replace ('/]*>/', ' ', $string);
  40. /* // -----刪除控製字元-----
  41. $string = str_replace("r", '', $string); // --- 替換為空格
  42. $string = str_replace("n", ' ' , $字串); // --- 替換為空格
  43. $string = str_replace ("t", ' ', $string); // --- 替換為空格
  44. */
  45. // ----- 刪除多個空格-----
  46. $string = trim(preg_replace('/ {2,}/', ' ', $string));
  48. return $string;
  50. }
  52. /**
  53. * # 從頁面正文或字串中讀取關鍵字
  54. *
  55. */
  56. public function readHtmlKeyWords() {
  58. if (! $this->_html) return;
  60. if(!empty($this->_keyWords)){
  61. $implo = implode(' ',$this- >_keyWords);
  62. $this->_html = $this->_html." ".$implo;
  63. $this->_keyWords = array();
  64. }
  66. $this->_html = str_replace(' ',' ', $this->_html);
  68. # 刪除不需要的部分
  69. $toRemove = array( 'head', ' script', 'style', 'object', 'embed', 'noembed', 'applet', 'noframes', 'noscript');
  71. foreach ($toRemove as $remove ) $this-> ;_html = preg_replace("/.*?/is", ' ', $this->_html);
  73. # 刪除評論
  74. $this->_html = preg_replace("//is", ' ', $this->_html);
  76. # 刪除html標籤
  77. $this->_html = mb_strtolower($this->rip_tags($this->_html), $this->_encoding);
  79. $this->_html = htmlspecialchars_decodeialchars_decode ($this->_html);
  81. # 解碼編碼的hmtl 實體
  82. $this->_html = html_entity_decode ($this->_html, ENT_COMPAT, $this->_encoding);
  84. # 分解為單字
  85. $words = preg_split("/[s] |[t] |[.] |[,] |[:] |[; ] |[!] |[?] |[| ] /s", $this->_html, -1, PREG_SPLIT_NO_EMPTY);
  87. if (count($words)) {
  89. $Frequency = array_count_values($words); unset($Frequency['']);
  91. if (count($Frequency)) {
  93. # 刪除停用字與標點符號
  94. include('stopwords_'.$this ->_lang.'.php');
  95. include('glodic_' .$this->_catego.'_'.$this->_lang.'.php');
  97. $punct = '~!@#$%^&*()_ |}{ [];:'",<.>/?`-=\';
  99. foreach (array_keys($Frequency) as $word ) {
  100. if ( (in_array($w​​ord, $ stopWords)) 或(strspn($word, $punct) == strlen($word)) ){ unset($Frequency[$word]); }
  101. }
  103. $max = max($頻率);
  104. $count = count($Frequency);
  105. $tot = round(($max * 100) / $count) ;
  106. $tot2 = round(($this->_keyCount * 100) / $count);
  107. if($tot >; $count){$tot = $tot / 2;}
  108. if( $tot2 > $count){$tot = $tot / 2;}
  109. $showmax = round(($tot $tot2) / 2);
  111. foreach (array_keys($Frequency) as $word) {
  112. if ( in_array($w​​ord, $ glodic) ) {$頻率[$word] = $頻率[$word] $showmax; }
  113. }
  115. # 依頻率排序
  116. arsort($Frequency, SORT_NUMERIC);
  118. # 將它們加到關鍵字數​​組
  119. $i = 0;
  121. foreach ($Frequency as $word=>$count) {
  123. if ((!in_array($ word, $this->_keyWords)) &&
  124. (!is_numeric($word) ) &&
  125. (!empty($word)) ) {
  126. $this->_keyWords[] = ( string)$word;
  128. $i ;
  130. if ( $i == $showmax) 中斷;
  131. }
  132. }
  133. }
  134. }
  135. }
  138. /**
  139. * 更改預設的 utf-8 編碼
  140. *
  141. * @param mix $enc
  142. */
  143. private函數編碼($enc = FALSE) {
  145. if ($enc) $this->_encoding = $enc ;
  146. }
  149. /**
  150. * # 從檔案或網址讀取
  151. *
  152. * @param mix $fileUrl
  153. */
  154. 公用函數檔($fileUrl = FALSE) {
  156. if ($fileUrl){ $this- > ;_html = @file_get_contents($fileUrl);
  157. $this->_url = $fileUrl;
  158. }
  159. }
  163. /**
  167. /**
  168. * # 定義 html 為字串
  169. *
  170. * @param mix $page
  171. * /
  172. public function html($page = FALSE) {
  174. if ($page) $this->_html = $page;
  175. }
  178. /* *
  179. * # 讀取元關鍵字與正文
  180. *
  181. */
  182. public function readAll() {
  184. if ($this->_html !== FALSE) {
  186. $this->readMetaKeyWords();
  188. $this->readHtmlKeyWords();
  189. }
  191. $this->_keyWords = array_unique($this->_keyWords);
  192. }
  196. }
  199. **
  200. * # 以陣列形式傳回關鍵字
  201. *
*/
public function get() { return $this->_keyWords;
}
?>
複製程式碼


陳述：
本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
上一篇：基於RMM的簡易中文分詞下一篇：基於RMM的簡易中文分詞

相關文章

看更多