robots-txt

为 Next.js 项目生成 SEO 友好的 robots.txt 文件。包含基本的爬虫规则、Sitemap 引用和常见目录的禁止规则。

功能

• ✅ 生成标准的 robots.txt 文件
• ✅ 自动包含 Sitemap 引用
• ✅ 禁止敏感目录和文件
• ✅ 允许所有主要爬虫
• ✅ 支持爬虫延迟设置
• ✅ 适配 Next.js 项目结构

参数

• $1 或 $ARGUMENTS: 网站域名（可选）
  • 用于生成 Sitemap URL
  • 示例：https://yourdomain.com
  • 如果不提供，Sitemap 行会被注释或省略

使用示例

示例 1：基本用法

/robots-txt

输出：

# robots.txt 文件

为你的 Next.js 项目生成的 robots.txt 文件：

```txt
# Allow all crawlers
User-agent: *
Allow: /

# Disallow common Next.js and private directories
Disallow: /api/
Disallow: /_next/
Disallow: /static/
Disallow: /.well-known/

# Disallow admin and private areas (if applicable)
# Disallow: /admin/
# Disallow: /private/
# Disallow: /dashboard/

# Sitemap (uncomment and update with your domain)
# Sitemap: https://yourdomain.com/sitemap.xml

文件位置

将此文件放置在项目根目录的 public/ 文件夹中：

路径： public/robots.txt

复制上面的内容到 public/robots.txt 文件。

验证

创建后，访问 https://yourdomain.com/robots.txt 验证文件可访问。

Next.js 自动生成

如果你使用 Next.js 13.3+，也可以使用 generateRobotTxt 函数自动生成：

app/robots.ts (推荐):

import { MetadataRoute } from 'next'

export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
      {
        userAgent: '*',
        allow: '/',
        disallow: ['/api/', '/_next/', '/static/'],
      },
    ],
    sitemap: 'https://yourdomain.com/sitemap.xml',
  }
}

这会自动生成 /robots.txt 路由。

### 示例 2：指定域名

```bash
/robots-txt https://yourdomain.com

输出：

# robots.txt 文件（包含 Sitemap）

```txt
# Allow all crawlers
User-agent: *
Allow: /

# Disallow common Next.js directories
Disallow: /api/
Disallow: /_next/
Disallow: /static/

# Disallow private areas
Disallow: /admin/
Disallow: /_next/image/
Disallow: /private/

# Crawl delay (optional)
# Crawl-delay: 1

# Sitemap
Sitemap: https://yourdomain.com/sitemap.xml

部署

将上述内容保存到 public/robots.txt，部署后可通过以下 URL 访问： https://yourdomain.com/robots.txt

注意事项

• robots.txt 文件必须位于网站根目录
• 文件名必须小写：robots.txt
• 文件更新后可能需要几天才能被搜索引擎重新抓取
• 使用 Google Search Console 的 robots.txt 测试工具验证