sphinx 增量索引實作實例

註：sphinx的增量索引其實是透過兩個索引來實現的（主索引每天凌晨更新，增量索引每5分鐘產生一次），網路上有說可以透過索引merge合併成一個索引，但我試了試沒有真的合併進去

sphinx 增量索引的設定   資料庫中的已有資料很大，又不斷有新資料加入資料庫中，也希望能夠檢索到。全部重新建立索引很消耗資源，因為我們需要更新的資料相比較而言很少。 例如。原來的資料有數百萬條，而新增的只是幾千條。這樣就可以使用「主索引+增量索引」的模式來實現近乎即時更新的功能。  
    這 個模式實現的基本原理是設定兩個資料來源和兩個索引，為那些基本上不更新的資料建立主索引，而對於那些新 增的資料建立增量索引。主索引的更新頻率可以設定的長一些(例如設定在每天的午夜進行)，而增量索引的更新頻率，我們可以將時間設定的很短(幾分鐘左 右)，這樣在使用者搜尋的時候，我們可以同時查詢這兩個索引的資料。
    使用「主索引+增量索引」方法有個簡單的實現，在資料庫中增加一個計數表，記錄每次重新建構主索引時，被索引表的最後一個資料id，這樣在增量索引時才需要索引這個id以後的資料即可，每次重新建構主索引時都更新這個表。
    測試條件：以預設的sphinx.conf配置為例，資料庫表格的資料也以 example.sql為例。

1、建立相關表格

创建主索引表
 CREATE TABLE `sph_test1` (
  `id` int(10) unsigned NOT NULL,
  `weight` int(11) NOT NULL,
  `query` varchar(3072) CHARACTER SET latin1 NOT NULL,
  `group_id` int(11) DEFAULT NULL,
  KEY `query` (`query`)
) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://127.0.0.1:9312/test1'
创建索引计数表
     CREATE TABLE `sph_counter` (
  `id` int(11) NOT NULL,
  `max_doc_id` int(11) NOT NULL,
  PRIMARY KEY (`id`)
)
创建增量索引表
 CREATE TABLE `sph_delta_test1` (
  `id` int(10) unsigned NOT NULL,
  `weight` int(11) NOT NULL,
  `query` varchar(3072) NOT NULL,
  `group_id` int(11) DEFAULT NULL,
  KEY `query` (`query`(1024))
) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://127.0.0.1:9312/delta_test1'

2、修改sphinx.conf

source src1{
       type                = mysql
       sql_host            = localhost
       sql_user            = yourusername
       sql_pass            = yourpassword
       sql_db              = test   //你所用的数据库
       sql_port            = 3306 //所用端口，默认是3306
       sql_query_pre       = SET NAMES utf8
       sql_query_pre       = sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM documents 
       sql_query = SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title,\
                 content FROM documents \
               WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
}
// 注意：delta_src 中的sql_query_pre的个数需和main_src 对应，否则可能搜索不出相应结果
source delta_src1: src1{
         sql_ranged_throttle = 100
         sql_query_pre       = SET NAMES utf8
         sql_query_pre       = SET SESSION query_cache_type=OFF
         sql_query      = SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content FROM documents\
            WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )
}
index test1 //主索引{
       source           = src1
       path             = /usr/local/sphinx/var/data/test1
       charset_type     = utf-8    #这个是支持中文必须要设置的
       chinese_dictionary =/usr/local/sphinx/etc/xdict       #..........其它可以默认
}
 
index delta_test1: src1 //增量索引{
         source = delta_src1
         path     = /usr/local/sphinx/var/data/delta_src1
}

3、定時任務產生索引（--rotate 參數可以不重啟服務索引就能生效）

 a、每天凌晨產生全量索引：每天凌晨產生全量索引）

 a、每天凌晨產生全量索引： ./indexer test1 --rotate

 b、每10分鐘產生一次增量索引：./indexer delta_test1 --rotate

🎜🎜