robots.txt 模板

要从模板生成 robots.txt 文件，请更改 站点配置：

enableRobotsTXT: true

enableRobotsTXT = true

{
   "enableRobotsTXT": true
}

默认情况下，Hugo 使用 嵌入式模板 生成 robots.txt。

User-agent: *

遵守 Robots Exclusion Protocol 的搜索引擎会将其解释为允许抓取站点上的所有内容。

robots.txt 模板查找顺序

您可以使用自定义模板覆盖内部模板。Hugo 使用以下查找顺序选择模板：

1. /layouts/robots.txt
2. /themes/<THEME>/layouts/robots.txt

robots.txt 模板示例

User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}

此模板会创建一个 robots.txt 文件，其中包含站点上每个页面的 Disallow 指令。遵守 Robots Exclusion Protocol 的搜索引擎不会抓取站点上的任何页面。