关键词匹配项目深入研究（二）- 分表思想的引入
（二）分表思想的引入
近期的文章： 1）高并发数据采集的架构应用（Redis的应用）
2）高可用数据采集平台（如何玩转3门语言php+.net+aauto）
手把手教你做关键词匹配项目这块基本已经完成，深入研究是对系统的性能作为分析，在一些环境的刺激下所必需要做的一些改变。
手把手教你做关键词匹配项目: 手把手教你做关键词匹配项目（搜索引擎）---- 第一天~手把手教你做关键词匹配项目（搜索引擎）---- 第二十二天 (共22篇)
深入研究：上节讲到 关键词匹配项目深入研究-过滤器的引入。
每一篇会分为问题的前因、解决方案以及有些必要的实现方案。
本篇正文正式开始。
问题的前因
随着自动采集数据的爆炸式的增长，词库的容量蒸蒸日上，一下从几W数据猛增几百万数据，小帅帅看着数据库的查询越来越感到无能为力。
再加上小丁丁常对小帅帅说的最多的一句：何时那么选词能快一点，每次我都等好久都莫有反应，真是急死我了。
小帅帅也比较焦急，心力憔悴，真正的感觉到原来这就是挑战。小帅帅无可奈何的继续找到于老大，求于老大赏赐高招。
于老大拍拍小帅帅的肩膀：小伙子，知道项目的难度了吧！
小帅帅回答道：别挖苦我了，我已深深的感受到了，我想我心脏估计快承受不了了。
于老大：就这点你就承受不了，那估计以后有的是给你受的。
小帅帅：大哥，别说这些虚的行不，赶紧的解决方案丫。
于老大：急啥，事情是急不来的，过来，哥给你指条明路。
“每个宝贝是不是有类别的属性，那么这几百万数据真正属于这个类别的词能够有多少？假设我们只取这个类别的词库我们的项目是否可以继续稳定下来”。
解决方案
按照某种业务需要，我们可以对数据表实行分割，可以纵向或者横向分割，可以有效的进行性能优化。
纵向分割也称列分割，把不常用的列或者长字段分割来保证实体处于一个相对适用的状态，常见的有一对一关联。
横向分割也称行分割，按照某种业务拆分数据的记录来存放在不同的表，常见的有按日期分表操作。
本案例是使用横向分割，把数据按照类别的形式进行拆分。
实现方案
我们为了不更改数据表的结构，这样设计了，我们按照表名来区分项目使用那个数据表。这样一来的改动相对是非常少的。我们只需稍微改动下代码就可以解决了，这很心塞的一件事情。
修改Keyword的代码，增加获取数据源。
<span style="color: #000000;">php</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Keyword { </span><span style="color: #0000ff;">public</span> <span style="color: #800080;">$word</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> getDbConn(){ </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){ self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD); </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> save(){ </span><span style="color: #800080;">$sql</span> = "insert into keywords(word) values ('<span style="color: #800080;">$this</span>->word')"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,<span style="color: #800080;">$this</span>-><span style="color: #000000;">getDbConn()); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsSource(<span style="color: #800080;">$cid</span>,<span style="color: #800080;">$limit</span>=0,<span style="color: #800080;">$offset</span>=40<span style="color: #000000;">){ </span><span style="color: #800080;">$sql</span> = "SELECT * FROM keywords_<span style="color: #800080;">$cid</span> LIMIT <span style="color: #800080;">$limit</span>,<span style="color: #800080;">$ffset</span>"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> DB::MakeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsCount(<span style="color: #800080;">$cid</span><span style="color: #000000;">){ </span><span style="color: #800080;">$sql</span> = "SELECT count(*) FROM keywords_<span style="color: #800080;">$cid</span>"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> DB::QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">); }}</span>
DB类新增QueryScalar，用于算总量
<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@author oShine</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> DB { </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> Connect(){ </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){ self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD); </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,self::<span style="color: #000000;">Connect()); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> makeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">); </span><span style="color: #800080;">$result</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(); </span><span style="color: #0000ff;">while</span>(<span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_assoc</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">)){ </span><span style="color: #800080;">$result</span>[] = <span style="color: #800080;">$data</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$result</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">); </span><span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_array</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">); </span><span style="color: #0000ff;">if</span>(<span style="color: #800080;">$data</span> == <span style="color: #0000ff;">false</span> || <span style="color: #0000ff;">empty</span>(<span style="color: #800080;">$data</span>) || !<span style="color: #0000ff;">isset</span>(<span style="color: #800080;">$data</span>[1])) <span style="color: #0000ff;">return</span> 0<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$data</span>[1<span style="color: #000000;">]; }} </span>
修改Selector的代码，用于选词：
<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Filename:selector/Selector.php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Author:oshine</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/SelectorItem.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharList.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharlistHandle.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>)) . '/lib/Logger.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Selector{ </span><span style="color: #0000ff;">private</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$charListHandle</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">( </span>"黑名单" => "BacklistCharListHandle", "近义词" => "LinklistCharListHandle"<span style="color: #000000;"> ); </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> select(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">) { </span><span style="color: #800080;">$selectorItem</span> = SelectorItem::createFromApi(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">); Logger</span>::trace(<span style="color: #800080;">$selectorItem</span>-><span style="color: #000000;">props_name); </span><span style="color: #800080;">$charlist</span> = <span style="color: #0000ff;">new</span><span style="color: #000000;"> CharList(); </span><span style="color: #0000ff;">foreach</span> (self::<span style="color: #800080;">$charListHandle</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$matchKey</span> => <span style="color: #800080;">$className</span><span style="color: #000000;">) { </span><span style="color: #800080;">$handle</span> = self::createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">); </span><span style="color: #800080;">$handle</span>-><span style="color: #008080;">exec</span><span style="color: #000000;">(); } </span><span style="color: #800080;">$selectWords</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(); </span><span style="color: #800080;">$wordsCount</span> = Keyword::getWordsCount(selectorItem-><span style="color: #000000;">cid); </span><span style="color: #800080;">$offset</span> = 40<span style="color: #000000;">; </span><span style="color: #800080;">$page</span> = <span style="color: #008080;">ceil</span>(<span style="color: #800080;">$wordsCount</span>/<span style="color: #800080;">$offset</span><span style="color: #000000;">); </span><span style="color: #0000ff;">for</span>(<span style="color: #800080;">$i</span>=0;<span style="color: #800080;">$i</span>$page;<span style="color: #800080;">$i</span>++<span style="color: #000000;">){ </span><span style="color: #800080;">$limit</span> = <span style="color: #800080;">$i</span>*<span style="color: #800080;">$offset</span><span style="color: #000000;">; </span><span style="color: #800080;">$keywords</span> = Keyword::getWordsSource(selectorItem->cid,<span style="color: #800080;">$limit</span>,<span style="color: #800080;">$offset</span><span style="color: #000000;">); </span><span style="color: #0000ff;">foreach</span> (<span style="color: #800080;">$keywords</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$val</span><span style="color: #000000;">) { </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span> <span style="color: #800080;">$keywordEntity</span> = SplitterApp::<span style="color: #008080;">split</span>(<span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]); </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span> <span style="color: #0000ff;">if</span>(MacthExector::macth(<span style="color: #800080;">$keywordEntity</span>,<span style="color: #800080;">$charlist</span><span style="color: #000000;">)){ </span><span style="color: #800080;">$selectWords</span>[] = <span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]; } } } </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$selectWords</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">) { </span><span style="color: #0000ff;">if</span> (<span style="color: #008080;">class_exists</span>(<span style="color: #800080;">$className</span><span style="color: #000000;">)) { </span><span style="color: #0000ff;">return</span> <span style="color: #0000ff;">new</span> <span style="color: #800080;">$className</span>(<span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">); } </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> <span style="color: #0000ff;">Exception</span>("class not exists", 0<span style="color: #000000;">); }}</span>
总结
小帅帅又学到了新的知识点，这是要犒劳于老大的节奏吗？你们是否也要犒劳下我呢，求赞哈！
PHP und Python: Verschiedene Paradigmen erklärtApr 18, 2025 am 12:26 AMPHP ist hauptsächlich prozedurale Programmierung, unterstützt aber auch die objektorientierte Programmierung (OOP). Python unterstützt eine Vielzahl von Paradigmen, einschließlich OOP, funktionaler und prozeduraler Programmierung. PHP ist für die Webentwicklung geeignet, und Python eignet sich für eine Vielzahl von Anwendungen wie Datenanalyse und maschinelles Lernen.
PHP und Python: Ein tiefes Eintauchen in ihre GeschichteApr 18, 2025 am 12:25 AMPHP entstand 1994 und wurde von Rasmuslerdorf entwickelt. Es wurde ursprünglich verwendet, um Website-Besucher zu verfolgen und sich nach und nach zu einer serverseitigen Skriptsprache entwickelt und in der Webentwicklung häufig verwendet. Python wurde Ende der 1980er Jahre von Guidovan Rossum entwickelt und erstmals 1991 veröffentlicht. Es betont die Lesbarkeit und Einfachheit der Code und ist für wissenschaftliche Computer, Datenanalysen und andere Bereiche geeignet.
Wählen Sie zwischen PHP und Python: Ein LeitfadenApr 18, 2025 am 12:24 AMPHP eignet sich für Webentwicklung und schnelles Prototyping, und Python eignet sich für Datenwissenschaft und maschinelles Lernen. 1.PHP wird für die dynamische Webentwicklung verwendet, mit einfacher Syntax und für schnelle Entwicklung geeignet. 2. Python hat eine kurze Syntax, ist für mehrere Felder geeignet und ein starkes Bibliotheksökosystem.
PHP und Frameworks: Modernisierung der SpracheApr 18, 2025 am 12:14 AMPHP bleibt im Modernisierungsprozess wichtig, da es eine große Anzahl von Websites und Anwendungen unterstützt und sich den Entwicklungsbedürfnissen durch Frameworks anpasst. 1.PHP7 verbessert die Leistung und führt neue Funktionen ein. 2. Moderne Frameworks wie Laravel, Symfony und Codesigniter vereinfachen die Entwicklung und verbessern die Codequalität. 3.. Leistungsoptimierung und Best Practices verbessern die Anwendungseffizienz weiter.
Auswirkungen von PHP: Webentwicklung und darüber hinausApr 18, 2025 am 12:10 AMPhPhas significantantyPactedWebDevelopmentAndendendsbeyondit.1) iTpowersMAjorPlatforms-LikewordpressandExcelsInDatabaseInteractions.2) php'SadaptabilityAllowStoscaleForLargeApplicationsfraMe-Linien-Linien-Linien-Linienkripte
Wie funktioniert der Php -Typ -Hinweis, einschließlich Skalartypen, Rückgabetypen, Gewerkschaftstypen und nullbaren Typen?Apr 17, 2025 am 12:25 AMPHP -Typ -Eingabeaufforderungen zur Verbesserung der Codequalität und der Lesbarkeit. 1) Tipps zum Skalartyp: Da Php7.0 in den Funktionsparametern wie int, float usw. angegeben werden dürfen. 3) Eingabeaufforderung für Gewerkschaftstyp: Da Php8.0 in Funktionsparametern oder Rückgabetypen angegeben werden dürfen. 4) Nullierstyp Eingabeaufforderung: Ermöglicht die Einbeziehung von Nullwerten und Handlungsfunktionen, die Nullwerte zurückgeben können.
Wie handelt es sich bei PHP -Objektklonen (Klonschlüsselwort) und der __clone Magic -Methode?Apr 17, 2025 am 12:24 AMVerwenden Sie in PHP das Klonschlüsselwort, um eine Kopie des Objekts zu erstellen und das Klonierungsverhalten über die \ _ \ _ Clone Magic -Methode anzupassen. 1. Verwenden Sie das Klonschlüsselwort, um eine flache Kopie zu erstellen und die Eigenschaften des Objekts, nicht die Eigenschaften des Objekts zu klonen. 2. Die \ _ \ _ Klonmethode kann verschachtelte Objekte tief kopieren, um flache Kopierprobleme zu vermeiden. 3. achten Sie darauf, dass kreisförmige Referenzen und Leistungsprobleme beim Klonen vermieden werden, und optimieren Sie die Klonierungsvorgänge, um die Effizienz zu verbessern.
PHP vs. Python: Anwendungsfälle und AnwendungenApr 17, 2025 am 12:23 AMPHP eignet sich für Webentwicklungs- und Content -Management -Systeme, und Python eignet sich für Datenwissenschafts-, maschinelles Lernen- und Automatisierungsskripte. 1.PHP hat eine gute Leistung beim Erstellen von schnellen und skalierbaren Websites und Anwendungen und wird üblicherweise in CMS wie WordPress verwendet. 2. Python hat sich in den Bereichen Datenwissenschaft und maschinelles Lernen mit reichen Bibliotheken wie Numpy und TensorFlow übertrifft.
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.
Heißer Artikel
Heiße Werkzeuge
MinGW – Minimalistisches GNU für Windows
Dieses Projekt wird derzeit auf osdn.net/projects/mingw migriert. Sie können uns dort weiterhin folgen. MinGW: Eine native Windows-Portierung der GNU Compiler Collection (GCC), frei verteilbare Importbibliotheken und Header-Dateien zum Erstellen nativer Windows-Anwendungen, einschließlich Erweiterungen der MSVC-Laufzeit zur Unterstützung der C99-Funktionalität. Die gesamte MinGW-Software kann auf 64-Bit-Windows-Plattformen ausgeführt werden.
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
WebStorm-Mac-Version
Nützliche JavaScript-Entwicklungstools
Dreamweaver Mac
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
