分詞演算法 php 一元分詞演算法

複製程式碼 程式碼如下:

/**
* 一元分詞演算法
* UTF8編碼下一個字元如果首字ASCII碼不大於192則只佔1個位元組
* 如果首字ASCII碼大於192小於224則佔用2個位元組，否則佔用3個位元組
* 一元分詞需要在mysql的my.ini檔案中增加ft_min_word_len=1
* 可以使用mysql查詢語句show variables like '%ft%' 查看mysql全文搜尋相關設定
*
* @access global
* @param string $str
* @param boolean $unique 是否移除重複值
* @param boolean $merge 是否合併附加值
* @>* @ return array
*/
function seg_word($str,$unique=false$unique=false$unique=false$ ,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array ();
$spc = ' ';
//按需增加需要過濾的字元
$search = array(',', '/', '\', '.', '; ', ':', ''', '!', '~','"', '`', '^', '(', ')', '?', '-', "t", "n", ''', '', "r", "rn", '$', '&', '%', '#', '@', '+', '= ', '{', '}', '[', ']', '）', '（', '．', '。', '，', '！', '；', '“', '”', ''', ''', '［', '］', '、', '—', '　', '《', '》', '－', '…', '【' , '】','：');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=> '四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九',' 0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白1-英文和符號2-中文
$result = array();
$annex = array();
while($ ord = ord($str[$i]))
{
//1位元組字元
if ($ord {
//移除空字串
if($ord $prechar=0;
$i++;
$k++;
continue;
}
//附加中文大寫數字轉換
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3位元組字元(中文)
{
if($ord $step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}
$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}

以上就介紹了分詞演算法 php 一元分詞演算法，包含了分詞演算法方面的內容，希望對PHP教程有興趣的朋友有幫助。