基本词匹配项目深入研究（二）- 分表思想的引入-tutorial php-php.cn

Rumah

pembangunan bahagian belakang

tutorial php

基本词匹配项目深入研究（二）- 分表思想的引入

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 13, 2016 pm 12:12 PM

databasenbsppublicreturnself

关键词匹配项目深入研究（二）- 分表思想的引入

（二）分表思想的引入

近期的文章： 1）高并发数据采集的架构应用（Redis的应用）

2）高可用数据采集平台（如何玩转3门语言php+.net+aauto）

手把手教你做关键词匹配项目这块基本已经完成，深入研究是对系统的性能作为分析，在一些环境的刺激下所必需要做的一些改变。

手把手教你做关键词匹配项目: 手把手教你做关键词匹配项目（搜索引擎）---- 第一天~手把手教你做关键词匹配项目（搜索引擎）---- 第二十二天 (共22篇)

深入研究：上节讲到关键词匹配项目深入研究-过滤器的引入。

每一篇会分为问题的前因、解决方案以及有些必要的实现方案。

本篇正文正式开始。

问题的前因

随着自动采集数据的爆炸式的增长，词库的容量蒸蒸日上，一下从几W数据猛增几百万数据，小帅帅看着数据库的查询越来越感到无能为力。

再加上小丁丁常对小帅帅说的最多的一句：何时那么选词能快一点，每次我都等好久都莫有反应，真是急死我了。

小帅帅也比较焦急，心力憔悴，真正的感觉到原来这就是挑战。小帅帅无可奈何的继续找到于老大，求于老大赏赐高招。

于老大拍拍小帅帅的肩膀：小伙子，知道项目的难度了吧！

小帅帅回答道：别挖苦我了，我已深深的感受到了，我想我心脏估计快承受不了了。

于老大：就这点你就承受不了，那估计以后有的是给你受的。

小帅帅：大哥，别说这些虚的行不，赶紧的解决方案丫。

于老大：急啥，事情是急不来的，过来，哥给你指条明路。

“每个宝贝是不是有类别的属性，那么这几百万数据真正属于这个类别的词能够有多少？假设我们只取这个类别的词库我们的项目是否可以继续稳定下来”。

解决方案

按照某种业务需要，我们可以对数据表实行分割，可以纵向或者横向分割，可以有效的进行性能优化。

纵向分割也称列分割，把不常用的列或者长字段分割来保证实体处于一个相对适用的状态，常见的有一对一关联。

横向分割也称行分割，按照某种业务拆分数据的记录来存放在不同的表，常见的有按日期分表操作。

本案例是使用横向分割，把数据按照类别的形式进行拆分。

实现方案

我们为了不更改数据表的结构，这样设计了，我们按照表名来区分项目使用那个数据表。这样一来的改动相对是非常少的。我们只需稍微改动下代码就可以解决了，这很心塞的一件事情。

修改Keyword的代码，增加获取数据源。

<span style="color: #000000;">php</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Keyword {    </span><span style="color: #0000ff;">public</span> <span style="color: #800080;">$word</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> getDbConn(){        </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){            self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD);            </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> save(){        </span><span style="color: #800080;">$sql</span> = "insert into keywords(word) values ('<span style="color: #800080;">$this</span>->word')"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,<span style="color: #800080;">$this</span>-><span style="color: #000000;">getDbConn());    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsSource(<span style="color: #800080;">$cid</span>,<span style="color: #800080;">$limit</span>=0,<span style="color: #800080;">$offset</span>=40<span style="color: #000000;">){        </span><span style="color: #800080;">$sql</span> = "SELECT * FROM　keywords_<span style="color: #800080;">$cid</span> LIMIT <span style="color: #800080;">$limit</span>,<span style="color: #800080;">$ffset</span>"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> DB::MakeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">);    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsCount(<span style="color: #800080;">$cid</span><span style="color: #000000;">){          </span><span style="color: #800080;">$sql</span> = "SELECT count(*) FROM　keywords_<span style="color: #800080;">$cid</span>"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> DB::QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">);    }}</span>

DB类新增QueryScalar，用于算总量

<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@author oShine</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> DB {    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> Connect(){        </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){            self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD);            </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">){       </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,self::<span style="color: #000000;">Connect());    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> makeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">){        </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">);        </span><span style="color: #800080;">$result</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">();        </span><span style="color: #0000ff;">while</span>(<span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_assoc</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">)){            </span><span style="color: #800080;">$result</span>[] = <span style="color: #800080;">$data</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$result</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">){         </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">);         </span><span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_array</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">);         </span><span style="color: #0000ff;">if</span>(<span style="color: #800080;">$data</span> == <span style="color: #0000ff;">false</span> || <span style="color: #0000ff;">empty</span>(<span style="color: #800080;">$data</span>) || !<span style="color: #0000ff;">isset</span>(<span style="color: #800080;">$data</span>[1])) <span style="color: #0000ff;">return</span> 0<span style="color: #000000;">;         </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$data</span>[1<span style="color: #000000;">];    }} </span>

修改Selector的代码，用于选词：

<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Filename:selector/Selector.php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Author:oshine</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/SelectorItem.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharList.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharlistHandle.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>)) . '/lib/Logger.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Selector{    </span><span style="color: #0000ff;">private</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$charListHandle</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(        </span>"黑名单" => "BacklistCharListHandle",        "近义词" => "LinklistCharListHandle"<span style="color: #000000;">    );    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> select(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">)    {        </span><span style="color: #800080;">$selectorItem</span> = SelectorItem::createFromApi(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">);        Logger</span>::trace(<span style="color: #800080;">$selectorItem</span>-><span style="color: #000000;">props_name);        </span><span style="color: #800080;">$charlist</span> = <span style="color: #0000ff;">new</span><span style="color: #000000;"> CharList();        </span><span style="color: #0000ff;">foreach</span> (self::<span style="color: #800080;">$charListHandle</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$matchKey</span> => <span style="color: #800080;">$className</span><span style="color: #000000;">) {            </span><span style="color: #800080;">$handle</span> = self::createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">);            </span><span style="color: #800080;">$handle</span>-><span style="color: #008080;">exec</span><span style="color: #000000;">();        }        </span><span style="color: #800080;">$selectWords</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">();        </span><span style="color: #800080;">$wordsCount</span> = Keyword::getWordsCount(selectorItem-><span style="color: #000000;">cid);        </span><span style="color: #800080;">$offset</span> = 40<span style="color: #000000;">;        </span><span style="color: #800080;">$page</span> =  <span style="color: #008080;">ceil</span>(<span style="color: #800080;">$wordsCount</span>/<span style="color: #800080;">$offset</span><span style="color: #000000;">);        </span><span style="color: #0000ff;">for</span>(<span style="color: #800080;">$i</span>=0;<span style="color: #800080;">$i</span>$page;<span style="color: #800080;">$i</span>++<span style="color: #000000;">){            </span><span style="color: #800080;">$limit</span> = <span style="color: #800080;">$i</span>*<span style="color: #800080;">$offset</span><span style="color: #000000;">;            </span><span style="color: #800080;">$keywords</span> = Keyword::getWordsSource(selectorItem->cid,<span style="color: #800080;">$limit</span>,<span style="color: #800080;">$offset</span><span style="color: #000000;">);             </span><span style="color: #0000ff;">foreach</span> (<span style="color: #800080;">$keywords</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$val</span><span style="color: #000000;">) {                </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span>                <span style="color: #800080;">$keywordEntity</span> = SplitterApp::<span style="color: #008080;">split</span>(<span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]);                                    </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span>                <span style="color: #0000ff;">if</span>(MacthExector::macth(<span style="color: #800080;">$keywordEntity</span>,<span style="color: #800080;">$charlist</span><span style="color: #000000;">)){                    </span><span style="color: #800080;">$selectWords</span>[] = <span style="color: #800080;">$val</span>["word"<span style="color: #000000;">];                }                      }        }        </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$selectWords</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">)    {        </span><span style="color: #0000ff;">if</span> (<span style="color: #008080;">class_exists</span>(<span style="color: #800080;">$className</span><span style="color: #000000;">)) {            </span><span style="color: #0000ff;">return</span> <span style="color: #0000ff;">new</span> <span style="color: #800080;">$className</span>(<span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">);        }        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> <span style="color: #0000ff;">Exception</span>("class not exists", 0<span style="color: #000000;">);    }}</span>

总结
小帅帅又学到了新的知识点，这是要犒劳于老大的节奏吗？你们是否也要犒劳下我呢，求赞哈！

Kenyataan

Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Artikel Berkaitan

解决方法：您的组织要求您更改 PIN 码Oct 04, 2023 pm 05:45 PM

“你的组织要求你更改PIN消息”将显示在登录屏幕上。当在使用基于组织的帐户设置的电脑上达到PIN过期限制时，就会发生这种情况，在该电脑上，他们可以控制个人设备。但是，如果您使用个人帐户设置了Windows，则理想情况下不应显示错误消息。虽然情况并非总是如此。大多数遇到错误的用户使用个人帐户报告。为什么我的组织要求我在Windows11上更改我的PIN？可能是您的帐户与组织相关联，您的主要方法应该是验证这一点。联系域管理员会有所帮助！此外，配置错误的本地策略设置或不正确的注册表项也可能导致错误。即

Windows 11 上调整窗口边框设置的方法：更改颜色和大小Sep 22, 2023 am 11:37 AM

Windows11将清新优雅的设计带到了最前沿;现代界面允许您个性化和更改最精细的细节，例如窗口边框。在本指南中，我们将讨论分步说明，以帮助您在Windows操作系统中创建反映您的风格的环境。如何更改窗口边框设置？按+打开“设置”应用。WindowsI转到个性化，然后单击颜色设置。颜色更改窗口边框设置窗口11“宽度=”643“高度=”500“>找到在标题栏和窗口边框上显示强调色选项，然后切换它旁边的开关。若要在“开始”菜单和任务栏上显示主题色，请打开“在开始”菜单和任务栏上显示主题

如何在 Windows 11 上更改标题栏颜色？Sep 14, 2023 pm 03:33 PM

默认情况下，Windows11上的标题栏颜色取决于您选择的深色/浅色主题。但是，您可以将其更改为所需的任何颜色。在本指南中，我们将讨论三种方法的分步说明，以更改它并个性化您的桌面体验，使其具有视觉吸引力。是否可以更改活动和非活动窗口的标题栏颜色？是的，您可以使用“设置”应用更改活动窗口的标题栏颜色，也可以使用注册表编辑器更改非活动窗口的标题栏颜色。若要了解这些步骤，请转到下一部分。如何在Windows11中更改标题栏的颜色？1.使用“设置”应用按+打开设置窗口。WindowsI前往“个性化”，然

OOBELANGUAGE错误Windows 11 / 10修复中出现问题的问题Jul 16, 2023 pm 03:29 PM

您是否在Windows安装程序页面上看到“出现问题”以及“OOBELANGUAGE”语句？Windows的安装有时会因此类错误而停止。OOBE表示开箱即用的体验。正如错误提示所表示的那样，这是与OOBE语言选择相关的问题。没有什么可担心的，你可以通过OOBE屏幕本身的漂亮注册表编辑来解决这个问题。快速修复–1.单击OOBE应用底部的“重试”按钮。这将继续进行该过程，而不会再打嗝。2.使用电源按钮强制关闭系统。系统重新启动后，OOBE应继续。3.断开系统与互联网的连接。在脱机模式下完成OOBE的所

Windows 11 上启用或禁用任务栏缩略图预览的方法Sep 15, 2023 pm 03:57 PM

任务栏缩略图可能很有趣，但它们也可能分散注意力或烦人。考虑到您将鼠标悬停在该区域的频率，您可能无意中关闭了重要窗口几次。另一个缺点是它使用更多的系统资源，因此，如果您一直在寻找一种提高资源效率的方法，我们将向您展示如何禁用它。不过，如果您的硬件规格可以处理它并且您喜欢预览版，则可以启用它。如何在Windows11中启用任务栏缩略图预览？1.使用“设置”应用点击键并单击设置。Windows单击系统，然后选择关于。点击高级系统设置。导航到“高级”选项卡，然后选择“性能”下的“设置”。在“视觉效果”选

Windows 11 上的显示缩放比例调整指南Sep 19, 2023 pm 06:45 PM

在Windows11上的显示缩放方面，我们都有不同的偏好。有些人喜欢大图标，有些人喜欢小图标。但是，我们都同意拥有正确的缩放比例很重要。字体缩放不良或图像过度缩放可能是工作时真正的生产力杀手，因此您需要知道如何对其进行自定义以充分利用系统功能。自定义缩放的优点：对于难以阅读屏幕上的文本的人来说，这是一个有用的功能。它可以帮助您一次在屏幕上查看更多内容。您可以创建仅适用于某些监视器和应用程序的自定义扩展配置文件。可以帮助提高低端硬件的性能。它使您可以更好地控制屏幕上的内容。如何在Windows11

10种在 Windows 11 上调整亮度的方法Dec 18, 2023 pm 02:21 PM

屏幕亮度是使用现代计算设备不可或缺的一部分，尤其是当您长时间注视屏幕时。它可以帮助您减轻眼睛疲劳，提高易读性，并轻松有效地查看内容。但是，根据您的设置，有时很难管理亮度，尤其是在具有新UI更改的Windows11上。如果您在调整亮度时遇到问题，以下是在Windows11上管理亮度的所有方法。如何在Windows11上更改亮度[10种方式解释]单显示器用户可以使用以下方法在Windows11上调整亮度。这包括使用单个显示器的台式机系统以及笔记本电脑。让我们开始吧。方法1：使用操作中心操作中心是访问

discuz database error怎么解决Nov 20, 2023 am 10:10 AM

discuz database error的解决办法有：1、检查数据库配置；2、确保数据库服务器正在运行；3、检查数据库表状态；4、备份数据；5、清理缓存；6、重新安装Discuz；7、检查服务器资源；8、联系Discuz官方支持。解决Discuz数据库错误需要从多个方面入手，逐步排查问题原因，并采取相应的措施进行修复。

See all articles