首頁  >  文章  >  後端開發  >  2000w行的文字資料如何檢索

2000w行的文字資料如何檢索

WBOY
WBOY原創
2016-08-04 09:19:11941瀏覽

在一個txt文檔中有2000w行數據,數據的格式如下
行屍走肉_Mother
金蟬脫殼_Smile
霸王別姬_Love
逍遙法外_Eternity
.......
八仙過海

逍遙法外_Eternity

.......

八仙過海逍遙法外_Eternity

.......

八仙過海

_Destiny

請問如何快速檢索出成語或英文單詞,麻煩請給我演算法,謝謝大牛們


回覆內容:

在一個txt文檔中有2000w行數據,數據的格式如下

行屍走肉_Mother

金蟬脫殼_Smile

霸王別姬_Love

逍遙法外_Eternity
.......

八仙過海

逍遙法外_Eternity

.......

八仙過海🎜逍遙法外_Eternity🎜.......🎜八仙過海🎜_Destiny🎜 🎜請問如何快速檢索出成語或英文單詞,麻煩請給我演算法,謝謝大牛們🎜 🎜 🎜你的目的到底是要確定某個成語/英文存在不存在還是要計算這個成語/單字出現的次數? 🎜我以為不論什麼方法,最大的可能性就是把全文都要過一遍。如果你這個檢索的頻率很高,這2000萬個資料放到記憶體中再索引儲存下會最快,如果只運行一次,那麼最快的時間就是把文件都讀一遍的時間(計算出現次數)。 🎜 🎜 🎜搭一個 solr,建立索引,這樣搜尋效率提升很大🎜
陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn