robots.txt是放在网站根目录下的一份爬虫访问规则文件。搜索引擎抓取网站前,通常会先读取它,确认哪些目录可以访问、哪些路径不允许抓取。

很多人把robots.txt理解成“禁止收录文件”,这个说法并不准确。robots.txt主要控制抓取,不直接负责页面是否出现在搜索结果中。如果一个被禁止抓取的URL在其他网站上有链接,Google仍有可能知道这个地址,并以没有正文摘要的形式展示URL。真正不想让页面进入搜索结果,通常要使用noindex、登录权限或直接删除页面,而不是只写一条Disallow。

robots.txt本身不复杂,但它位于整站抓取入口。一行规则写错,影响的可能不是一个页面,而是一批产品页、整个内容目录,甚至全站。

先记住三个判断:

  • 想控制爬虫访问哪些路径,用robots.txt;
  • 想让页面退出搜索结果,用noindex或删除页面;
  • 想保护后台和隐私内容,用登录验证与服务器权限。

robots.txt文件放在哪里?

robots.txt必须放在网站协议和主机对应的根目录中,常见地址是:

https://www.example.com/robots.txt

下面这些位置不能代替根目录文件:

https://www.example.com/files/robots.txt
https://www.example.com/wp-content/robots.txt

协议、子域名和端口不同,robots.txt的作用范围也不同。例如:

  • https://www.example.com/robots.txt只管https://www.example.com/;
  • https://shop.example.com/robots.txt只管https://shop.example.com/;
  • HTTP和HTTPS会被视为不同的站点范围。

企业网站改HTTPS、增加子域名或启用多语言站点后,最好把各个站点的robots.txt分别打开检查一次。实际项目中见过主站规则没有问题,但新上线的英文子站仍保留测试环境的全站屏蔽规则,结果产品页迟迟没有被正常抓取。

实战提醒:不要只检查主域名。HTTP、HTTPS、带www、不带www以及独立子域名,都可能对应不同的robots.txt。

一份基础robots.txt怎么写?

下面是一份常见的基础写法:

User-agent: *
Disallow: /admin/
Disallow: /search/
Allow: /admin/public-file.css

Sitemap: https://www.example.com/sitemap.xml

这几行分别表示:

  • User-agent: *:规则面向遵守robots协议的所有爬虫;
  • Disallow: /admin/:不允许抓取/admin/目录;
  • Disallow: /search/:不允许抓取站内搜索结果目录;
  • Allow: /admin/public-file.css:虽然上级目录被拦截,但允许抓取这一个文件;
  • Sitemap:告诉爬虫网站地图的位置。

如果网站没有需要屏蔽的公开目录,也可以写成:

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

空的Disallow表示没有禁止路径,不是禁止全站。真正会拦住全站的是:

User-agent: *
Disallow: /

这两个写法只差一个斜杠,结果完全不同。新站上线时,最值得先查的就是这一行。

容易混淆的地方:Disallow:后面为空,表示不禁止任何路径;Disallow: /才是禁止抓取全站。

User-agent、Disallow和Allow分别有什么作用?

User-agent:指定规则给谁看

User-agent用来指定爬虫。星号代表所有爬虫,也可以单独给Googlebot或Bingbot设置规则:

User-agent: Googlebot
Disallow: /google-test/

User-agent: Bingbot
Disallow: /bing-test/

单独设置爬虫规则时要谨慎。Bing官方文档特别提醒,Bingbot找到专属规则组后,会忽略通用规则组中的指令。因此,专属规则里如果漏写了原本通用的限制,实际抓取结果可能和预期不同。大多数普通企业站没有必要为每个搜索引擎维护一套复杂规则。

Disallow:禁止抓取某个路径

Disallow: /private/

这条规则拦截以/private/开头的路径。robots.txt匹配的是URL路径,不是服务器里的Windows或Linux文件目录,也不能把多个路径写在同一行。要拦截多个目录,就分开写:

Disallow: /private/
Disallow: /temp/
Disallow: /internal-search/

Allow:在被拦截的目录里放行特定路径

User-agent: *
Disallow: /files/
Allow: /files/public/

这表示/files/整体不允许抓取,但/files/public/可以访问。Google在多条规则同时匹配时,会优先采用更具体的路径规则;如果Allow与Disallow的匹配长度相同,则采用限制更少的Allow规则。

Sitemap:声明网站地图地址

Sitemap: https://www.example.com/sitemap.xml

Sitemap可以写在robots.txt里,也可以直接提交到Search Console或Bing Webmaster Tools。它的作用是帮助搜索引擎发现重要URL,不会覆盖Disallow规则。一个URL即使出现在Sitemap中,只要robots.txt不允许抓取,爬虫仍会受到限制。


robots.txt写错后,会对SEO造成哪些影响?

1. 重要页面无法被正常抓取

最直接的错误是把产品、文章或栏目目录拦住。例如:

User-agent: *
Disallow: /product/

如果网站所有产品都放在/product/下面,这条规则会影响整批产品页。已经被搜索引擎处理过的页面不一定马上消失,但后续内容更新、标题调整和页面变化无法正常重新抓取,排名和收录状态可能逐渐受到影响。

2. CSS和JavaScript被拦截,爬虫看到的页面不完整

有些旧教程会建议直接屏蔽/wp-content/、/assets/或脚本目录。现在的网站大量依赖CSS和JavaScript完成页面布局与内容渲染,搜索引擎如果拿不到这些资源,可能无法正确理解页面。

检查robots.txt时,不要只看正文URL有没有被放行,还要确认渲染页面所需的重要样式、脚本和图片能否正常抓取。Google的URL检查工具可以查看实时测试结果,判断爬虫看到的页面是否与用户看到的基本一致。

3. 想用noindex删除页面,却先在robots.txt里拦住了它

这是技术SEO里很常见的一组冲突:

User-agent: *
Disallow: /old-page/

同时,页面中又加入:

<meta name="robots" content="noindex">

问题在于,爬虫被robots.txt挡在页面外面,就读不到页面里的noindex。结果可能是搜索引擎无法更新页面内容,却仍然保留已知URL。

如果目标是让页面退出搜索结果,通常应先允许爬虫访问,让搜索引擎读取noindex;等页面从索引中移除后,再根据实际情况决定是否限制抓取。涉及会员资料、后台数据或其他私密内容,则应使用登录权限和服务器访问控制,不能把robots.txt当成安全措施。

排查重点:发现“网址已被robots.txt阻止,但仍出现在搜索结果中”时,不要继续叠加Disallow。先确认搜索引擎能否访问页面并读到noindex。

4. 测试环境规则被带到了正式网站

开发站为了避免被抓取,经常会写:

User-agent: *
Disallow: /

这在测试环境中很常见,问题出在网站正式上线后忘记删除。新网站长时间没有抓取、URL检查显示被robots.txt拦截时,先打开根目录下的robots.txt,比反复提交Sitemap更直接。

5. 规则写得太宽,误伤正常页面

假设网站想屏蔽站内搜索参数,却写了一条过于宽泛的规则,带有相同字符的正常URL也可能被匹配。使用*通配符和$结尾符时尤其要先测试:

Disallow: /*?sort=
Disallow: /*.pdf$

第一条用于匹配包含?sort=的URL,第二条匹配以.pdf结尾的路径。规则越复杂,越不能只凭肉眼判断,最好拿真实URL逐条验证。

6. 错误放行参数页,爬虫资源被大量重复URL占用

robots.txt不只是“挡多了”会出问题,挡得不合理也会增加无效抓取。筛选、排序、站内搜索和日历翻页可能生成大量相似URL。对于页面规模较大的网站,这些地址会消耗爬虫访问资源,也会让抓取日志变得混乱。

但不能看到参数就全部屏蔽。有些筛选页本身承担长尾词排名,或者是用户需要访问的重要分类页。是否限制抓取,要先看页面价值、URL数量、内部链接和当前收录情况。


robots.txt、noindex和nofollow有什么区别?

设置 主要作用 常见使用场景
robots.txt Disallow 限制爬虫访问URL或目录 管理抓取路径、减少无价值URL抓取
noindex 告诉搜索引擎不要把页面放入搜索结果 登录页、低价值结果页、无需公开展示的页面
nofollow 向搜索引擎表达不希望跟踪或关联页面中链接的意图 对页面链接跟踪进行控制
登录权限 阻止未授权访问内容 后台、会员资料、内部文件和隐私数据

这几种设置解决的不是同一个问题。想减少抓取用robots.txt,想退出搜索结果用noindex,想保护隐私用登录和权限控制。把目标先分清,再选规则,远比照抄一份robots.txt安全。

WordPress网站的robots.txt怎么写?

WordPress网站常见写法如下:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

这份示例只屏蔽后台目录,并放行前台功能可能使用的admin-ajax.php。不要直接照搬网上那些同时屏蔽/wp-content/、/wp-includes/和所有参数URL的复杂模板。主题、插件和网站结构不同,别人的规则放到自己网站上,可能会拦住前台渲染资源或正常页面。

WordPress还可能生成虚拟robots.txt,也就是浏览器能访问这个地址,但服务器目录中没有实体文件。SEO插件、缓存插件或服务器规则都可能影响最终输出。检查时要以浏览器实际打开的/robots.txt内容为准。

WordPress检查习惯:不要只在服务器目录里找文件。直接访问网站的/robots.txt,看到的才是搜索引擎实际读取的版本。


robots.txt修改后怎么检查?

第一步:直接打开文件地址

访问:

https://你的域名/robots.txt

确认能正常打开,内容是最新版本,没有跳转到登录页或返回404。顺便检查是否存在多份规则、乱码或异常HTML代码。

第二步:拿真实URL测试规则

不要只检查语法。准备几类真实地址:

  • 首页和主要栏目页;
  • 产品页或服务页;
  • 文章页;
  • CSS、JavaScript和图片资源;
  • 计划屏蔽的参数页、搜索页或后台路径。

逐个确认哪些应该允许、哪些应该拦截。规则写得再“标准”,只要与网站真实路径对不上,就没有意义。

第三步:用站长工具复核

Google网站可以用Search Console的URL检查查看目标页面是否受robots.txt限制,并进行实时测试;Bing网站可以使用Bing Webmaster Tools中的robots.txt测试工具。修改后还可以观察抓取统计、页面索引和服务器日志,确认重要页面重新获得抓取。

第四步:优先检查受影响的一批页面

如果之前误屏蔽了整个产品目录,修复后先检查几条代表性URL,不要只盯首页。确认抓取恢复后,再继续观察该目录的索引和展现变化。robots.txt修好只是恢复访问条件,搜索引擎重新抓取和评估仍需要过程。

关于AI搜索,robots.txt还要注意什么?

现在不同平台可能使用不同爬虫处理搜索、AI训练或答案引用,不能简单认为“屏蔽一个AI爬虫就等于退出所有AI搜索”。例如Google官方说明,Google-Extended与Google搜索收录和排名是分开的控制项;Bing也在逐步提供AI训练与AI答案使用方面的独立设置。

企业如果既重视传统搜索流量,也希望内容有机会被AI搜索引用,不要随意屏蔽Googlebot、Bingbot或网站主要内容目录。涉及AI训练授权时,应按具体平台当时公布的爬虫名称和控制规则单独处理,不要拿一条过时的通用模板直接覆盖全站。


robots.txt常见问题

网站没有robots.txt,会影响排名吗?

一般不会直接影响排名。没有robots.txt不代表网站不能被抓取。对于规模较小、URL结构简单的网站,如果没有需要限制的目录,爬虫通常仍可正常访问。robots.txt也不是提升排名的加分项,它的价值在于管理抓取范围。

robots.txt修改后,搜索引擎会立即生效吗?

不会立即反映到所有页面。搜索引擎会定期重新读取robots.txt,但页面抓取、索引和排名不会在文件修改后同步完成。修复错误规则后,可以检查重要URL并观察后续抓取,不必反复改动文件。

robots.txt能保护后台和隐私文件吗?

不能。robots.txt是公开文件,任何人都能访问,反而可能暴露你想隐藏的路径。后台、客户资料和内部文件应该使用登录验证、访问权限或服务器限制。

Sitemap写进robots.txt就一定会被收录吗?

不会。Sitemap只是帮助搜索引擎发现URL,是否收录还要看页面能否抓取、内容质量、规范化信号和网站整体情况。Sitemap也不能覆盖robots.txt中的禁止抓取规则。


总结:robots.txt越简单,越要写准确

robots.txt解决的是爬虫访问问题,不是排名开关,也不是网站安全工具。普通企业网站通常不需要写得很复杂,真正重要的是三件事:重要页面和渲染资源不要误拦,低价值路径要结合实际情况处理,禁止收录与禁止抓取不要混为一谈。

每次网站改版、切换HTTPS、增加子域名、更换CMS或调整URL结构后,都应该重新检查robots.txt。与其从网上复制几十行看似专业的规则,不如围绕自己网站的真实目录,一条一条确认它会匹配哪些URL。