찾다
php教程php手册robots.txt 文件语法

最简单的 robots.txt 文件使用两条规则: User-agent :应用以下规则的漫游器 Disallow :要拦截的网址 这两行会视为文件中的一个条目。您可根据需要加入任意多个条目。您可在一个条目中加入多个 Disallow 行和多个 User-agent。 robots.txt 文件的各个部分

最简单的 robots.txt 文件使用两条规则:

  • User-agent :应用以下规则的漫游器
  • Disallow :要拦截的网址

这两行会视为文件中的一个条目。您可根据需要加入任意多个条目。您可在一个条目中加入多个 Disallow 行和多个 User-agent。

robots.txt 文件的各个部分都是独立的,而不是在先前部分的基础上构建的。例如:

User-agent: *<br>
Disallow: /文件夹 1/User-Agent: Googlebot<br>
Disallow: /文件夹 2/<br>

在本例中,只有符合 /文件夹 2/ 的网址才会被 Googlebot 禁止。

User-agent 和漫游器

User-agent 是一种特定的搜索引擎漫游器。网络漫游器数据库 列出了许多常用的漫游器。您可以将某一条目设置为适用于某一特定漫游器(以显示名称的方式列出)或适用于所有漫游器(以标记为星号的方式列出)。适用于所有漫游器的条目应为以下格式:

User-agent: *<br>

Google 使用多种不同的漫游器 (User-agent)。我们的网页搜索所使用的漫游器为 Googlebot 。Googlebot-Mobile 和 Googlebot-Image 等其他漫游器也会遵循您为 Googlebot 所设置的规则,但您也可以为这些特定的漫游器设置特定的规则。

拦截 User-agent

Disallow 行列出的是您要拦截的网页。您可以列出某一特定的网址或模式。条目应以正斜线 (/) 开头。

  • 要拦截整个网站 ,请使用正斜线。
    Disallow: /
  • 要拦截某一目录以及其中的所有内容 ,请在目录名后添加正斜线。
    Disallow: /无用目录/ 
  • 要拦截某个网页 ,请列出该网页。
    Disallow: /私人文件.html
  • 要从 Google 图片中删除特定图片 ,请添加以下内容:
    User-agent: Googlebot-ImageDisallow: /图片/狗.jpg 
  • 要从 Goo le 图片中 除您网站上的所有图片 ,请执行以下指令:
    User-agent: Googlebot-ImageDisallow: / 
  • 要拦截某一特定文件类型的文件(例如 .gif) ,请使用以下内容:
    User-agent: Googlebot<br>
    Disallow: /*.gif$
  • 要阻止抓取您网站上的网页,而同时又能在这些网页上显示 Adsense 广告 , 请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中,同时又能让 Mediapartners-Google 漫游器分析网页,从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如:
    User-agent: *<br>
    Disallow: /

    User-agent: Mediapartners-Google
    Allow: /

请注意,指令区分大小写。例如,Disallow: /junk_file.asp 会拦截 http://www.example.com/junk_file.asp,却会允许 http://www.example.com/Junk_file.asp。Googlebot 会忽略 robots.txt 中的空白内容(特别是空行)和未知指令。

Googlebot 支持通过 robots.txt 文件提交站点地图文件 。

模式匹配

Googlebot(但并非所有搜索引擎)遵循某些模式匹配原则。

  • 要匹配连续字符,请使用星号 (*)。 例如,要拦截对所有以 private 开头的子目录的访问,请使用以下内容:
    User-agent: Googlebot<br>
    Disallow: /private*/
  • 要拦截对所有包含问号 (?) 的网址的访问 (具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容:
    User-agent: Googlebot<br>
    Disallow: /*?
  • 要指定与某个网址的结尾字符相匹配 ,请使用 $。例如,要拦截以 .xls 结尾的所有网址,请使用以下内容:
    User-agent: Googlebot<br>
    Disallow: /*.xls$

    您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 代表一个会话 ID,那么您可能希望排除包含 ? 的所有网址,以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下,您可以对您的 robots.txt 文件进行如下设置:

    User-agent: *<br>
    Allow: /*?$
    Disallow: /*?

    Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说,它将拦截所有以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串的网址)。

    Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说,它将允许所有以您的域名开头、后接任意字符串,然后接 ?,? 之后不接任何字符的网址)。

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경