首頁  >  文章  >  後端開發  >  對Python中gensim庫word2vec的使用

對Python中gensim庫word2vec的使用

不言
不言原創
2018-05-08 14:24:473564瀏覽

這篇文章主要介紹了對Python中gensim庫word2vec的使用,有著一定的參考價值,現在分享給大家,有需要的朋友可以參考一下

pip install gensim安裝好庫後,即可導入使用:

1、訓練模型定義

from gensim.models import Word2Vec 
model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)

參數解釋:

1.sg=1是skip-gram演算法,對低頻詞敏感;預設sg=0為CBOW演算法。

2.size是輸出詞向量的維數,值太小會導致詞映射因為衝突而影響結果,值太大則會耗內存並使演算法計算變慢,一般值取為100到200之間。

3.window是句子中當前詞與目標詞之間的最大距離,3表示在目標詞前看3-b個字,後面看b個字(b在0-3之間隨機)。

4.min_count是對單字進行過濾,頻率小於min-count的單字則會被忽視,預設值為5。

5.negative和sample可根據訓練結果進行微調,sample表示更高頻率的字被隨機下取樣到所設定的閾值,預設值為1e-3。

6.hs=1表示層級softmax將會被使用,預設hs=0且negative不為0,則負取樣將會被選取使用。

7.workers控制訓練的並行,此參數只有在安裝了Cpython後才有效,否則只能使用單核心。

詳細參數說明可查看word2vec原始碼。

2、訓練後的模型保存與載入

model.save(fname) 
model = Word2Vec.load(fname)

3、模型使用(詞語相似度計算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) 
#输出[('queen', 0.50882536), ...] 
 
model.doesnt_match("breakfast cereal dinner lunch".split()) 
#输出'cereal' 
 
model.similarity('woman', 'man') 
#输出0.73723527 
 
model['computer'] # raw numpy vector of a word 
#输出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)

其它內容不再贅述,詳細請參考gensim的word2vec的官方說明,裡面講的很詳細。


#

以上是對Python中gensim庫word2vec的使用的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn