搜索
首页专题SEOrobots.txt的写法

robots.txt的写法

May 26, 2019 pm 03:12 PM
seo

robots.txt的写法是做seo的人员必须知道的(什么是robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。 

百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中robots.txt就是最重要也是最开始和百度“对话”的内容。 

robots.txt的写法

当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。 

我们的网站起初的robots.txt写法如下: 

User-agent: * 

Disallow: /wp-admin/ 

Disallow: /wp-includes/ 

User-agent: * 的意思是,允许所以引擎抓取。 

而Disallow: /wp-admin/和Disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既保护了我们的隐私,也让百度蜘蛛的抓取最大化。 

如果,你想禁止百度蜘蛛抓取某一个页面,比如123.html,那就加一句代码“Disallow: /123.html/”即可。 

robots.txt写好后,只需要上传到网站的根目录下即可。

以上是robots.txt的写法的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
Google律师:不到1%的YouTube视图来自搜索Google律师:不到1%的YouTube视图来自搜索Apr 24, 2025 am 10:45 AM

Google法律代表最近透露,不到1%的YouTube视图源自Google搜索点击。 声明:在法庭程序中,代表Google的律师约翰·施密特林(John Schmidtlein)表示,“大约不到1%

Google搜索现在使用投机规则API来更快地搜索Google搜索现在使用投机规则API来更快地搜索Apr 24, 2025 am 09:19 AM

Chrome浏览器提升Google搜索速度:利用Speculation Rules API加速搜索结果 Google宣布,Chrome浏览器用户在使用Google搜索时,搜索速度将得到提升。这项改进得益于对Speculation Rules API的利用,通过预取搜索结果来加快整体搜索体验。 Google在Chrome开发者博客中写道:“Google搜索一直以来都在利用Speculation Rules API来提升从搜索结果页面到结果链接的导航速度,并且我们已经使用了一些API特性,这些特性可

Google新闻自动出版页面将于3月开始Google新闻自动出版页面将于3月开始Apr 24, 2025 am 09:18 AM

Google新闻将全自动。 从3月开始,Google将自动生成所有发布页面,并在发布者中心结束手动自定义选项。这是2024年4月的公告逐步淘汰手动出版物additi

我们爱SEO的7个原因我们爱SEO的7个原因Apr 23, 2025 am 10:38 AM

SEO:数字营销人员的爱情故事 许多人回避SEO的复杂性和不断发展。但是对于其他人来说,这是一种无所不在的激情,这是一种使他们参与的动态难题。 这个情人节,让我们探讨为什么SEO超越Algor

Google将成员定价beta类型添加到商人列表定价结构化数据Google将成员定价beta类型添加到商人列表定价结构化数据Apr 22, 2025 am 11:34 AM

Google使用成员定价的新Beta功能增强了其商家列表结构化数据指南。 Google宣布的此更新介绍了有效的FormemberTier属性(以及现有PriceType属性)以更准确地r

Google确认大多数审核计数错误已解决,但有些仍需要解决Google确认大多数审核计数错误已解决,但有些仍需要解决Apr 22, 2025 am 11:00 AM

上周,Google经历了一个严重的错误,影响了Google业务资料。 显示的评论计数不准确,显示的评论少于实际存在的评论。 没有删除评论。 此后,Google发布了一个更新,说明了专业

想想蜘蛛网,而不是为显着的SEO结果的漏斗想想蜘蛛网,而不是为显着的SEO结果的漏斗Apr 22, 2025 am 09:31 AM

漏斗的隐喻是数字营销的长期基石,在当今数据丰富的在线景观中越来越不足。 用户如何在线与信息交互的现实要复杂得多。 有很多可用的数据和t

通过更智能的SEO框架来推动更好的排名和参与度通过更智能的SEO框架来推动更好的排名和参与度Apr 21, 2025 am 10:29 AM

传统营销漏斗已无法反映当今用户搜索和内容互动方式,这正在损害您的SEO效果。 如今,营销人员拥有比以往任何时候都更多的数据,因此可以构建一个更有效的框架来推动自然流量:蜘蛛网模型。通过围绕相互关联的高价值页面构建内容策略,您可以更快地提升排名,获得更多自然流量,并改善用户体验。 立即参加Ryan Brock主讲的“以蜘蛛网而非漏斗思考,实现卓越SEO成果”研讨会,学习: 为什么传统漏斗会浪费自然流量机会 Gartner和领先研究人员对现代买家旅程的观点 如何调整您的内容策略以改善排名和参与度

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具