Robots 协议
管理站点根路径的
robots.txt——告诉百度、Google 等哪些路径可抓、哪些别抓。
本页动态输出，不单独往磁盘写文件；XML 地图请到 站点地图。
边界：允许抓取 ≠ 一定收录；禁止路径也 不等于 保密（敏感内容勿只靠 robots）。
适合谁 / 什么场景
- 想减少后台、无用路径被无效抓取
- 希望 robots 里自动带上 Sitemap 地址行
- 根目录曾放过物理
robots.txt，和后台设置「打架」
使用前准备
- 建议已启用 站点地图（才方便自动写 Sitemap 行）
- 若服务器根目录已有物理文件
robots.txt，需先改名或删除，否则本页设置可能无效 - 新手优先用「追加到 WordPress 默认」，慎用「完全自定义」整份替换
入口在哪
WP 后台 → WP闪电快稿 → SEO优化 → Robots协议
实操案例：启用管理并写入 Sitemap 行
目标：浏览器打开 https://你的域名/robots.txt，能看到你的规则，且含 Sitemap 地址。
第 1 步：打开管理并选模式
- 进入本页
- 打开 启用 Robots 管理
- 模式选 追加到 WordPress 默认（推荐新手）
- 打开 自动写入 Sitemap 行（需站点地图已启用）
第 2 步：填写自定义内容
在 自定义内容 中可追加规则（按你站需要增减，勿盲目整站 Disallow: /）。
填写示例（追加模式 · 可改用）
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
若未开「自动写入 Sitemap 行」，可再加一行（域名改成你的）：
Sitemap: https://www.example.com/sitemap.xml
含义：拦后台目录，但放行 AJAX；并声明站点地图。保存前先看懂每一行。
第 3 步：保存并核对
- 点 保存设置
- 看页内 预览 是否已含你的规则与 Sitemap 行
- 浏览器新标签打开功能说明里的访问地址（一般是
https://www.example.com/robots.txt，请改成你的域名）
第 4 步：看「做对了」长什么样
| 结果 | 说明 |
|---|---|
| 浏览器内容与预览一致，有 Sitemap: 行 | 成功 |
| 仍是旧内容 / 空白与后台不符 | 根目录可能有物理 robots.txt 抢先；CDN/缓存未刷新 |
整站 Disallow: / | 危险：等于劝退所有爬虫，收录会受严重影响——立即改掉 |
关键配置项说明
| 配置项 | 开了 / 选了会怎样 | 关了 / 空着会怎样 |
|---|---|---|
| 启用 Robots 管理 | 按本页模式与内容输出 | 仅走 WordPress 自带输出 |
| 追加模式 | 保留 WP 基础规则再追加 | — |
| 完全自定义 | 整份以你填写为准 | 写错易误伤全站抓取 |
| 自动写入 Sitemap 行 | robots 里带地图地址 | 需自己手写 Sitemap 行 |
常见问题（FAQ）
Q：把后台 Disallow 了，前台文章还能收录吗？
可以。Disallow /wp-admin/ 不挡文章页。别把整站路径都禁了。
Q：和跟踪代码里的站长验证有冲突吗？
无冲突。验证码在 HTML；robots 管爬虫路径约定。
相关功能
文档信息
| 项 | 内容 |
|---|---|
| 产品 | WP闪电快稿 |
| 文档编号 | 55 |
| 读者 | 站长 |
| 更新日期 | 2026-10-01 |