关键词匹配项目深入研究（二）- 分表思想的引入
（二）分表思想的引入
近期的文章： 1）高并发数据采集的架构应用（Redis的应用）
2）高可用数据采集平台（如何玩转3门语言php+.net+aauto）
手把手教你做关键词匹配项目这块基本已经完成，深入研究是对系统的性能作为分析，在一些环境的刺激下所必需要做的一些改变。
手把手教你做关键词匹配项目: 手把手教你做关键词匹配项目（搜索引擎）---- 第一天~手把手教你做关键词匹配项目（搜索引擎）---- 第二十二天 (共22篇)
深入研究：上节讲到 关键词匹配项目深入研究-过滤器的引入。
每一篇会分为问题的前因、解决方案以及有些必要的实现方案。
本篇正文正式开始。
问题的前因
随着自动采集数据的爆炸式的增长，词库的容量蒸蒸日上，一下从几W数据猛增几百万数据，小帅帅看着数据库的查询越来越感到无能为力。
再加上小丁丁常对小帅帅说的最多的一句：何时那么选词能快一点，每次我都等好久都莫有反应，真是急死我了。
小帅帅也比较焦急，心力憔悴，真正的感觉到原来这就是挑战。小帅帅无可奈何的继续找到于老大，求于老大赏赐高招。
于老大拍拍小帅帅的肩膀：小伙子，知道项目的难度了吧！
小帅帅回答道：别挖苦我了，我已深深的感受到了，我想我心脏估计快承受不了了。
于老大：就这点你就承受不了，那估计以后有的是给你受的。
小帅帅：大哥，别说这些虚的行不，赶紧的解决方案丫。
于老大：急啥，事情是急不来的，过来，哥给你指条明路。
“每个宝贝是不是有类别的属性，那么这几百万数据真正属于这个类别的词能够有多少？假设我们只取这个类别的词库我们的项目是否可以继续稳定下来”。
解决方案
按照某种业务需要，我们可以对数据表实行分割，可以纵向或者横向分割，可以有效的进行性能优化。
纵向分割也称列分割，把不常用的列或者长字段分割来保证实体处于一个相对适用的状态，常见的有一对一关联。
横向分割也称行分割，按照某种业务拆分数据的记录来存放在不同的表，常见的有按日期分表操作。
本案例是使用横向分割，把数据按照类别的形式进行拆分。
实现方案
我们为了不更改数据表的结构，这样设计了，我们按照表名来区分项目使用那个数据表。这样一来的改动相对是非常少的。我们只需稍微改动下代码就可以解决了，这很心塞的一件事情。
修改Keyword的代码，增加获取数据源。
<span style="color: #000000;">php</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Keyword { </span><span style="color: #0000ff;">public</span> <span style="color: #800080;">$word</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> getDbConn(){ </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){ self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD); </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> save(){ </span><span style="color: #800080;">$sql</span> = "insert into keywords(word) values ('<span style="color: #800080;">$this</span>->word')"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,<span style="color: #800080;">$this</span>-><span style="color: #000000;">getDbConn()); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsSource(<span style="color: #800080;">$cid</span>,<span style="color: #800080;">$limit</span>=0,<span style="color: #800080;">$offset</span>=40<span style="color: #000000;">){ </span><span style="color: #800080;">$sql</span> = "SELECT * FROM keywords_<span style="color: #800080;">$cid</span> LIMIT <span style="color: #800080;">$limit</span>,<span style="color: #800080;">$ffset</span>"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> DB::MakeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsCount(<span style="color: #800080;">$cid</span><span style="color: #000000;">){ </span><span style="color: #800080;">$sql</span> = "SELECT count(*) FROM keywords_<span style="color: #800080;">$cid</span>"<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> DB::QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">); }}</span>
DB类新增QueryScalar，用于算总量
<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@author oShine</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> DB { </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">; </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> Connect(){ </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){ self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD); </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">); </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,self::<span style="color: #000000;">Connect()); } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> makeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">); </span><span style="color: #800080;">$result</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(); </span><span style="color: #0000ff;">while</span>(<span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_assoc</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">)){ </span><span style="color: #800080;">$result</span>[] = <span style="color: #800080;">$data</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$result</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">){ </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">); </span><span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_array</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">); </span><span style="color: #0000ff;">if</span>(<span style="color: #800080;">$data</span> == <span style="color: #0000ff;">false</span> || <span style="color: #0000ff;">empty</span>(<span style="color: #800080;">$data</span>) || !<span style="color: #0000ff;">isset</span>(<span style="color: #800080;">$data</span>[1])) <span style="color: #0000ff;">return</span> 0<span style="color: #000000;">; </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$data</span>[1<span style="color: #000000;">]; }} </span>
修改Selector的代码，用于选词：
<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Filename:selector/Selector.php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Author:oshine</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/SelectorItem.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharList.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharlistHandle.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>)) . '/lib/Logger.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Selector{ </span><span style="color: #0000ff;">private</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$charListHandle</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">( </span>"黑名单" => "BacklistCharListHandle", "近义词" => "LinklistCharListHandle"<span style="color: #000000;"> ); </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> select(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">) { </span><span style="color: #800080;">$selectorItem</span> = SelectorItem::createFromApi(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">); Logger</span>::trace(<span style="color: #800080;">$selectorItem</span>-><span style="color: #000000;">props_name); </span><span style="color: #800080;">$charlist</span> = <span style="color: #0000ff;">new</span><span style="color: #000000;"> CharList(); </span><span style="color: #0000ff;">foreach</span> (self::<span style="color: #800080;">$charListHandle</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$matchKey</span> => <span style="color: #800080;">$className</span><span style="color: #000000;">) { </span><span style="color: #800080;">$handle</span> = self::createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">); </span><span style="color: #800080;">$handle</span>-><span style="color: #008080;">exec</span><span style="color: #000000;">(); } </span><span style="color: #800080;">$selectWords</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(); </span><span style="color: #800080;">$wordsCount</span> = Keyword::getWordsCount(selectorItem-><span style="color: #000000;">cid); </span><span style="color: #800080;">$offset</span> = 40<span style="color: #000000;">; </span><span style="color: #800080;">$page</span> = <span style="color: #008080;">ceil</span>(<span style="color: #800080;">$wordsCount</span>/<span style="color: #800080;">$offset</span><span style="color: #000000;">); </span><span style="color: #0000ff;">for</span>(<span style="color: #800080;">$i</span>=0;<span style="color: #800080;">$i</span>$page;<span style="color: #800080;">$i</span>++<span style="color: #000000;">){ </span><span style="color: #800080;">$limit</span> = <span style="color: #800080;">$i</span>*<span style="color: #800080;">$offset</span><span style="color: #000000;">; </span><span style="color: #800080;">$keywords</span> = Keyword::getWordsSource(selectorItem->cid,<span style="color: #800080;">$limit</span>,<span style="color: #800080;">$offset</span><span style="color: #000000;">); </span><span style="color: #0000ff;">foreach</span> (<span style="color: #800080;">$keywords</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$val</span><span style="color: #000000;">) { </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span> <span style="color: #800080;">$keywordEntity</span> = SplitterApp::<span style="color: #008080;">split</span>(<span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]); </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span> <span style="color: #0000ff;">if</span>(MacthExector::macth(<span style="color: #800080;">$keywordEntity</span>,<span style="color: #800080;">$charlist</span><span style="color: #000000;">)){ </span><span style="color: #800080;">$selectWords</span>[] = <span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]; } } } </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$selectWords</span><span style="color: #000000;">; } </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">) { </span><span style="color: #0000ff;">if</span> (<span style="color: #008080;">class_exists</span>(<span style="color: #800080;">$className</span><span style="color: #000000;">)) { </span><span style="color: #0000ff;">return</span> <span style="color: #0000ff;">new</span> <span style="color: #800080;">$className</span>(<span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">); } </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> <span style="color: #0000ff;">Exception</span>("class not exists", 0<span style="color: #000000;">); }}</span>
总结
小帅帅又学到了新的知识点，这是要犒劳于老大的节奏吗？你们是否也要犒劳下我呢，求赞哈！
성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
교통량이 많은 웹 사이트를위한 PHP 성능 튜닝May 14, 2025 am 12:13 AMthesecrettokeepingAphp-poweredwebsiterunningsmoothlydlyUnderHeavyloadInvolvesEveralKeyStrategies : 1) ubstractOpCodeCachingWithOpCacheTecescripteExecutionTime, 2) usedatabasequeryCachingwithRedSendatabaseload, 3) LeverAgeCdnslikeCloudforforporerververforporporpin
PHP의 종속성 주입 : 초보자를위한 코드 예제May 14, 2025 am 12:08 AMCode는 코드가 더 명확하고 유지 관리하기 쉽기 때문에 의존성 주입 (DI)에 관심을 가져야합니다. 1) DI는 클래스를 분리하여 더 모듈 식으로 만들고, 2) 테스트 및 코드 유연성의 편의성을 향상시키고, 3) DI 컨테이너를 사용하여 복잡한 종속성을 관리하지만 성능 영향 및 순환 종속성에주의를 기울이십시오. 4) 모범 사례는 추상 인터페이스에 의존하여 느슨한 커플 링을 달성하는 것입니다.
PHP 성능 : 응용 프로그램을 최적화 할 수 있습니까?May 14, 2025 am 12:04 AM예, PPAPPLICATIONISPOSSIBLEADESLESTION.1) INVERECINGUSINGAPCUTERODUCEDABASELOAD.2) INCODINCEDEXING, ENGICIONEQUERIES 및 CONNECTIONPOULING.3) 향상된 보드 바이어링, 플로 팅 포르코 잉을 피하는 최적화 된 APPCUTERODECEDATABASELOAD.2)
PHP 성능 최적화 : 궁극적 인 가이드May 14, 2025 am 12:02 AMtheKeyStrategiesToSINCINTIFILINTINTIFILINTINTHPPORMATIONPERFORMANCEARE : 1) USEOPCODECACHING-CCHACHETEDECUTECUTINGTIME, 2) 최적화 된 ABESINSTEMENTEMENDSTEMENTEMENDSENDSTATEMENTENDS 및 PROPERINDEXING, 3) ConfigureWebSerVERSLIKENGINXXWITHPMFORBETPERMERCORMANCES, 4)
PHP 의존성 주입 컨테이너 : 빠른 시작May 13, 2025 am 12:11 AMaphpdectionenceindectioncontainerisatoolthatmanagesclassdependencies, 향상 Codemodularity, testability 및 maintainability.itactAsacentralHubForCreatingAndingDinjectingDingingDingingdecting.
PHP의 종속성 주입 대 서비스 로케이터May 13, 2025 am 12:10 AM대규모 응용 프로그램의 경우 SELLENCIONINGESS (DI)를 선택하십시오. ServicElocator는 소규모 프로젝트 또는 프로토 타입에 적합합니다. 1) DI는 생성자 주입을 통한 코드의 테스트 가능성과 모듈성을 향상시킵니다. 2) Servicelocator는 센터 등록을 통해 서비스를 얻습니다. 이는 편리하지만 코드 커플 링이 증가 할 수 있습니다.
PHP 성능 최적화 전략.May 13, 2025 am 12:06 AMphPapplicationSCanBeoptimizedForsPeedandefficiencyby : 1) ENABLEOPCACHEINPHP.INI, 2) PREPAREDSTATEMENTSWITHPDOFORDATABASEQUERIES 사용
PHP 이메일 검증 : 이메일이 올바르게 전송되도록합니다May 13, 2025 am 12:06 AMphpeMailValidationInvoLvestHreesteps : 1) formatValidationUsingRegularexpressionsTochemailformat; 2) dnsValidationToErethedomainHasaValidMxRecord; 3) smtpvalidation, theSTHOROUGHMETHOD, theCheckSiftheCefTHECCECKSOCCONNECTERTETETETETETETWERTETWERTETWER
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!
인기 기사
KB5055612 수정 방법 Windows 10에 설치되지 않습니까?
4 몇 주 전ByDDD
<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
<garden> : 정원 재배 - 완전한 돌연변이 가이드
3 몇 주 전ByDDD
Nordhold : Fusion System, 설명
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
뜨거운 도구
Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!
SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.
