首頁  >  文章  >  資料庫  >  基於Tags實​​作內容建議的方法(程式碼)

基於Tags實​​作內容建議的方法(程式碼)

不言
不言原創
2018-09-14 14:11:422373瀏覽

這篇文章帶給大家的內容是關於基於Tags實​​現內容推薦的方法(程式碼),有一定的參考價值,有需要的朋友可以參考一下,希望對你有幫助。

原來為了簡單方便,自己小網站上的文章頁的相關內容推薦就是從數據庫裡隨機抽取數據來填充一個列表,所以一點相關性都沒有,更本沒有辦法引導用戶去訪問推薦內容。

演算法選擇

如何能做到類似內容的推薦呢,礙於小網站還跑在虛擬主機上(對的,連一個自己完整可控的伺服器都沒有),所以可以想的辦法不多,條件限制在只能用PHP MySql。所以我想到的方法就是透過Tags來搭配相似文章來推薦。若兩篇文章的TAGS 比較相似

例如:文章A 的TAGS為: [A,B,C,D,E]
文章B 的TAGS 為:[A,D,E,F,G]
文章C 的TAGS 為:[C,H,I,J,K]

透過眼睛我們能很方便的發現,文章B和文章A更為相似,因為它們有三個關鍵字相同分別為:[A,D,E],哪如何用計算機來判斷它們的相似度呢,這裡我們用jaccard相似度的最基本應用來計算它們的相似度

jaccard相似度

給定兩個集合A,B,Jaccard 係數定義為A與B交集的大小與A與B並集的大小的比值,定義如下:

基於Tags實​​作內容建議的方法(程式碼)

文章A與文章B的交集為[A,D,E],大小為3,並集為[A,B,C,D, E,F,G],大小為7,3/7=0.4285...
而文章A和文章C交集為[C],大小為1,並集為[A,B,C,D, E,H,I,J,K],大小為9, 1/9=0.11111...

這樣就可以得出文章A,B比文章A,C更為相似,有了這個演算法,計算機就可以來判斷兩篇文章的相似度了。

具體的推薦想法

給定一篇文章,取得該文章的關鍵字TAGS,然後透過以上演算法去資料庫比對所有文章的相似度,取得最相似的N篇文章進行推薦。

實作過程

第一TAGS的取得

文章的TAGS是透過TF-IDF演算法,擷取文章中的高頻詞,選取N個作為TAGS,對於中文的文章來說還牽涉到一個中文分詞的問題,因為是虛擬主機的關係,這步的工作我用python(為什麼用Python ,jieba分詞,真香)在本地寫了一個程序,完成所有文章的分詞,詞頻統計,產生TAGS,並寫回伺服器的資料庫。由於本文是寫推薦的演算法,所以分詞和建立TAGS的部分就不具體展開了,而且不同的系統有不同的TAGS建立方式。

第二TAGS的儲存

建立兩張表,用於儲存TAGS
tags,用於存所有tag的名稱

+-------+------------+------+-----+---------+-------+
| Field | Type       | Null | Key | Default | Extra |
+-------+------------+------+-----+---------+-------+
| tag   | text       | YES  |     | NULL    |       |
| count | bigint(20) | YES  |     | NULL    |       |
| tagid | int(11)    | NO   | PRI | 0       |       |
+-------+------------+------+-----+---------+-------+

tag_map 建立tag和文章的映身關係。

+-----------+------------+------+-----+---------+-------+
| Field     | Type       | Null | Key | Default | Extra |
+-----------+------------+------+-----+---------+-------+
| id        | bigint(20) | NO   | PRI | 0       |       |
| articleid | bigint(20) | YES  |     | NULL    |       |
| tagid     | int(11)    | YES  |     | NULL    |       |
+-----------+------------+------+-----+---------+-------+

tag_map存的資料類似如下:

+----+-----------+-------+
| id | articleid | tagid |
+----+-----------+-------+
|  1 |       776 |   589 |
|  2 |       776 |   471 |
|  3 |       776 |  1455 |
|  4 |       776 |  1287 |
|  5 |       776 |    52 |
|  6 |       777 |  1386 |
|  7 |       777 |   588 |
|  8 |       777 |   109 |
|  9 |       777 |   603 |
| 10 |       777 |  1299 |
+----+-----------+-------+

其實做相似推薦的時候,只需要用到tag_map表就可以了,因為tagid和tag name 是一一對應的。

具體編碼

1.取得所有文章對應的TAGID

mysql> select articleid, GROUP_CONCAT(tagid) as tags from tag_map GROUP BY articleid;
+-----------+--------------------------+
| articleid | tags                     |
+-----------+--------------------------+
|        12 | 1178,1067,49,693,1227    |
|        13 | 196,2004,2071,927,131    |
|        14 | 1945,713,1711,2024,49    |
|        15 | 35,119,9,1,1180          |
|        16 | 1182,1924,2200,181,1938  |
|        17 | 46,492,414,424,620       |
|        18 | 415,499,153,567,674      |
|        19 | 1602,805,691,1613,194    |
|        20 | 2070,1994,886,575,1149   |
|        21 | 1953,1961,1534,2038,1393 |
+-----------+--------------------------+

#透過以上SQL,可以一次查詢所用文章,極度對應的所有tag
在PHP ,我們可以把tags變成數組。

public function getAllGroupByArticleId(){
        //缓存查询数据,因为这个是全表数据,而且不更新文章不会变化,便是每次推荐都要从数据库里获取一次数据,对性能肯定会有影响,所以做个缓存。
        if($cache = CacheHelper::getCache()){
            return $cache;
        }
        $query_result = $this->query('select articleid, GROUP_CONCAT(tagid) as tags from tag_map GROUP BY articleid');

        $result = [];
        foreach($query_result as $key => $value){
            //用articleid 做key ,值是该id下的所有tagID数组。
            $result[$value['articleid']] = explode(",",$value['tags']);
        }

        CacheHelper::setCache($result, 86400);

        return $result;

    }

有了這個的回傳結果,就比較好辦了,接下去的工作就是去應用jaccard相似度這個演算法了,具體就看程式碼吧。

/**
     * [更据指定文章返回相似的文章推荐]
     * @param  $articleid 指定的文章ID
     * @param  $top       要返回的推荐条数
     * @return Array      推荐条目数组
     */
function getArticleRecommend($articleid, $top = 5){
        if($cache = CacheHelper::getCache()){
            return $cache;
        }
        try{
            $articleid = intval($articleid);
            $m = new TagMapModel();
            $all_tags = $m->getAllGroupByArticleId();//调用上面的函数返回所有文章的tags
            $finded = $all_tags[$articleid];//因为上面是包含所有文章了,所以肯定包含了当前文章。

            unset($all_tags[$articleid]);//把当前文章从数组中删除,不然自己和自己肯定是相似度最高了。

            $jaccard_arr = []; //用于存相似度
            foreach ($all_tags as $key => $value) {
                $intersect =array_intersect($finded, $value); //计算交集
                $union = array_unique(array_merge($finded, $value)); //计算并集

                $jaccard_arr[$key] = (float)(count($intersect) / count($union));
            }

            arsort($jaccard_arr); //按相似度排序,最相似的排最前面

            $jaccard_keys = array_keys($jaccard_arr);//由于数组的key就是文章id,所以这里把key取出来就可以了
            array_splice($jaccard_keys, $top);//获取前N条推荐

            //到这里我们就已经得到了,最相似N篇文章的ID了,接下去的工作就是通过这几个ID,从数据库里把相关信息,查询出来就可以了
    
            $articleModels = new \Api\Model\ArticleModel();
            $recommendArticles = $articleModels->getRecommendByTag($jaccard_keys);
            CacheHelper::setCache($recommendArticles, 604800); //缓存7天
            return $recommendArticles;
        } catch (\Exception $e) {
            throw new \Exception("获取推荐文章错误");
        }
    }

相關推薦:

##PHP簡單實作「相關文章推薦」功能的方法

以上是基於Tags實​​作內容建議的方法(程式碼)的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn