搜尋
首頁後端開發php教程php 中文分词PSCWS4使用说明

分词的这个技术,挺重要的,在有些方面起着非常重要的作用,这里摘自一博友的文章

PSCWS4 类对应的文件为 pscws4.class.php。在 PHP 代码中的调用方法如下:

//加入头文件require './pscws4/pscws4.class.php';
//建立分词类对像, 参数为字符集, 默认为 gbk,
//可在后面调用 set_charset 改变
$pscws = new PSCWS4('utf8');
 
//接下来, 设定一些分词参数或选项, set_dict 是必须的,
//若想智能识别人名等需要 set_rule
//包括: set_charset, set_dict, set_rule,
//set_ignore, set_multi, set_debug, set_duality ... 等方法
 
$pscws->set_dict('./pscws4/etc/dict.xdb');
$pscws->set_rule('./pscws4/etc/rules.ini');
 
//分词调用 send_text() 将待分词的字符串传入,
//紧接着循环调用 get_result() 方法取回一系列分好的词
//直到 get_result() 返回 false 为止
//返回的词是一个关联数组, 包含: word 词本身, idf 逆词率(重),//off 在text中的偏移, len 长度, attr 词性
 $pscws->send_text($text);
 while ($some = $pscws->get_result()){
  foreach ($some as $word){
  print_r($word);
 }
}
//在send_te

— 类方法完全手册 —

(注: 构造函数可传入字符集作为参数, 这与另外调用 set_charset 效果是一样的) 

class PSCWS4 { 

void set_charset(string charset); 
说明:设定分词词典、规则集、欲分文本字符串的字符集,系统缺省是 gbk 字集。 
返回:无。 
参数:charset 是设定的字符集,目前只支持 utf8 和 gbk。(注:big5 也可作 gbk 处理) 
注意:输入要切分的文本,词典,规则文件这三者的字符集必须统一为该 charset 值。 

bool set_dict(string dict_fpath); 
说明:设置分词引擎所采用的词典文件。 
参数:dict_path 是词典的路径,可以是相对路径或完全路径。 
返回:成功返回 true 失败返回 false。 
错误:若有错误会给出 WARNING 级的错误提示。 

void set_rule(string rule_path); 
说明:设定分词所用的新词识别规则集(用于人名、地名、数字时间年代等识别)。 
返回:无。 
参数:rule_path 是规则集的路径,可以是相对路径或完全路径。 

void set_ignore(bool yes) 
说明:设定分词返回结果时是否去除一些特殊的标点符号之类。 
返回:无。 
参数:yes 设定值,如果为 true 则结果中不返回标点符号,如果为 false 则会返回,缺省为 false。 

void set_multi(int mode); 
说明:设定分词返回结果时是否复合分割,如“中国人”返回“中国+人+中国人”三个词。 
返回:无。 
参数:mode 设定值,1 ~ 15。 
按位与的 1 | 2 | 4 | 8 分别表示: 短词 | 二元 | 主要单字 | 所有单字 

void set_duality(bool yes); 
说明:设定是否将闲散文字自动以二字分词法聚合。 
返回:无。 
参数:yes 设定值,如果为 true 则结果中多个单字会自动按二分法聚分,如果为 false 则不处理,缺省为 false。 

void set_debug(bool yes); 
说明:设置分词过程是否输出N-Path分词过程的调试信息。 
参数:yes 设定值,如果为 true 则分词过程中对于多路径分法分给出提示信息。 
返回:无。 

void send_text(string text) 
说明:发送设定分词所要切割的文本。 
返回:无。 
参数:text 是文本的内容。 
注意:执行本函数时,请先加载词典和规则集文件并设好相关选项。 

mixed get_result(void) 
说明:根据 send_text 设定的文本内容,返回一系列切好的词汇。 
返回:成功返回切好的词汇组成的数组, 若无更多词汇,返回 false。 
参数:无。 
注意:每次切割后本函数应该循环调用,直到返回 false 为止,因为程序每次返回的词数是不确定的。 
返回的词汇包含的键值有:word (string, 词本身) idf (folat, 逆文本词频) off (int, 在文本中的位置) attr(string, 词性) 

mixed get_tops( [int limit [, string attr]] ) 
说明:根据 send_text 设定的文本内容,返回系统计算出来的最关键词汇列表。 
返回:成功返回切好的词汇组成的数组, 若无更多词汇,返回 false。 
参数:limit 可选参数,返回的词的最大数量,缺省是 10; 
attr 可选参数,是一系列词性组成的字符串,各词性之间以半角的逗号隔开, 
这表示返回的词性必须在列表中,如果以~开头,则表示取反,词性必须不在列表中, 
缺省为空,返回全部词性,不过滤。 

string version(void); 
说明:返回本版号。 
返回:版本号(字符串)。 
参数:无。 

void close(void); 
说明:关闭释放资源,使用结束后可以手工调用该函数或等系统自动回收。 
返回:无。 
参数:无。 
};

以下是相关资源的下载地址: 
PSCWS4: http://www.ftphp.com/scws/down/pscws4-20081221.tar.bz2 
规则集: http://www.ftphp.com/scws/down/scws-rules-all.zip 
词典系列:http://www.ftphp.com/scws/down/scws-dict-chs-gbk.tar.bz2 
http://www.ftphp.com/scws/down/scws-dict-chs-utf8.tar.bz2


陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
繼續使用PHP:耐力的原因繼續使用PHP:耐力的原因Apr 19, 2025 am 12:23 AM

PHP仍然流行的原因是其易用性、靈活性和強大的生態系統。 1)易用性和簡單語法使其成為初學者的首選。 2)與web開發緊密結合,處理HTTP請求和數據庫交互出色。 3)龐大的生態系統提供了豐富的工具和庫。 4)活躍的社區和開源性質使其適應新需求和技術趨勢。

PHP和Python:探索他們的相似性和差異PHP和Python:探索他們的相似性和差異Apr 19, 2025 am 12:21 AM

PHP和Python都是高層次的編程語言,廣泛應用於Web開發、數據處理和自動化任務。 1.PHP常用於構建動態網站和內容管理系統,而Python常用於構建Web框架和數據科學。 2.PHP使用echo輸出內容,Python使用print。 3.兩者都支持面向對象編程,但語法和關鍵字不同。 4.PHP支持弱類型轉換,Python則更嚴格。 5.PHP性能優化包括使用OPcache和異步編程,Python則使用cProfile和異步編程。

PHP和Python:解釋了不同的範例PHP和Python:解釋了不同的範例Apr 18, 2025 am 12:26 AM

PHP主要是過程式編程,但也支持面向對象編程(OOP);Python支持多種範式,包括OOP、函數式和過程式編程。 PHP適合web開發,Python適用於多種應用,如數據分析和機器學習。

PHP和Python:深入了解他們的歷史PHP和Python:深入了解他們的歷史Apr 18, 2025 am 12:25 AM

PHP起源於1994年,由RasmusLerdorf開發,最初用於跟踪網站訪問者,逐漸演變為服務器端腳本語言,廣泛應用於網頁開發。 Python由GuidovanRossum於1980年代末開發,1991年首次發布,強調代碼可讀性和簡潔性,適用於科學計算、數據分析等領域。

在PHP和Python之間進行選擇:指南在PHP和Python之間進行選擇:指南Apr 18, 2025 am 12:24 AM

PHP適合網頁開發和快速原型開發,Python適用於數據科學和機器學習。 1.PHP用於動態網頁開發,語法簡單,適合快速開發。 2.Python語法簡潔,適用於多領域,庫生態系統強大。

PHP和框架:現代化語言PHP和框架:現代化語言Apr 18, 2025 am 12:14 AM

PHP在現代化進程中仍然重要,因為它支持大量網站和應用,並通過框架適應開發需求。 1.PHP7提升了性能並引入了新功能。 2.現代框架如Laravel、Symfony和CodeIgniter簡化開發,提高代碼質量。 3.性能優化和最佳實踐進一步提升應用效率。

PHP的影響:網絡開發及以後PHP的影響:網絡開發及以後Apr 18, 2025 am 12:10 AM

PHPhassignificantlyimpactedwebdevelopmentandextendsbeyondit.1)ItpowersmajorplatformslikeWordPressandexcelsindatabaseinteractions.2)PHP'sadaptabilityallowsittoscaleforlargeapplicationsusingframeworkslikeLaravel.3)Beyondweb,PHPisusedincommand-linescrip

PHP類型提示如何起作用,包括標量類型,返回類型,聯合類型和無效類型?PHP類型提示如何起作用,包括標量類型,返回類型,聯合類型和無效類型?Apr 17, 2025 am 12:25 AM

PHP類型提示提升代碼質量和可讀性。 1)標量類型提示:自PHP7.0起,允許在函數參數中指定基本數據類型,如int、float等。 2)返回類型提示:確保函數返回值類型的一致性。 3)聯合類型提示:自PHP8.0起,允許在函數參數或返回值中指定多個類型。 4)可空類型提示:允許包含null值,處理可能返回空值的函數。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。