附录C：生成式搜索引擎的User-Agent清单（国际+中国）

概述

本附录整理了当前主流生成式搜索引擎及其爬虫的User-Agent（UA）信息，涵盖国际与中国两大市场。在实施GEO优化时，准确识别并区分这些爬虫是实现动态渲染、内容适配、访问控制与日志分析的基础。

重要提示：User-Agent并非固定不变，搜索引擎可能随时更新或新增UA。建议定期（每季度）检查官方文档，并保持本清单的更新。

一、国际生成式搜索引擎爬虫

1.1 OpenAI (GPTBot / ChatGPT-User)

OpenAI 用于训练模型和提供实时搜索服务的爬虫。

注意事项：

• GPTBot 会忽略 robots.txt 中禁止的路径，但会遵循 noindex 标签。
• ChatGPT-User 主要用于实时查询，建议在 robots.txt 中允许其访问。

1.2 Google (GoogleOther / Google-Extended)

Google 用于AI训练和生成式搜索体验的爬虫。

注意事项：

• Google-Extended 是专门为SGE设计的，建议允许其访问结构化数据丰富的内容。
• GoogleOther 可用于训练，若不想被训练可禁止。

1.3 Microsoft (BingBot / BingChat)

微软用于Bing Chat（Copilot）和Bing搜索的爬虫。

注意事项：

• BingChat 是较新的爬虫，主要用于生成式搜索。
• 建议在 robots.txt 中为BingChat单独设置规则。

1.4 Anthropic (ClaudeBot / Anthropic-AI)

Anthropic 用于训练Claude模型的爬虫。

注意事项：

• ClaudeBot 会遵守 robots.txt 和 noindex 标签。
• 若不想被训练，可在 robots.txt 中禁止。

1.5 Perplexity (PerplexityBot)

Perplexity AI 用于实时搜索和答案生成的爬虫。

注意事项：

• PerplexityBot 会频繁访问，建议设置合理的抓取频率。
• 对于高价值内容，建议允许其访问。

1.6 其他国际爬虫

二、中国生成式搜索引擎爬虫

2.1 百度 (Baiduspider / 文心一言)

百度用于搜索和文心一言训练的爬虫。

注意事项：

• 百度爬虫对JS渲染能力较弱，建议提供SSR版本。
• 文心一言爬虫是较新的，主要用于训练。

2.2 字节跳动 (Bytespider / 豆包)

字节跳动用于抖音搜索和豆包训练的爬虫。

注意事项：

• Bytespider 是字节跳动的通用爬虫，用于训练多个模型。
• 豆包爬虫主要用于生成式搜索，建议允许其访问结构化数据。

2.3 阿里 (AlibabaBot / 通义千问)

阿里巴巴用于搜索和通义千问训练的爬虫。

注意事项：

• 阿里爬虫主要用于电商和云服务内容。
• 通义千问爬虫较新，建议定期检查。

2.4 腾讯 (TencentBot / 混元)

腾讯用于微信搜一搜和混元大模型训练的爬虫。

注意事项：

• 微信搜一搜爬虫对公众号内容有特殊权重。
• 混元爬虫主要用于训练，建议允许其访问。

2.5 其他中国爬虫

三、User-Agent 快速识别表

3.1 国际爬虫速查

3.2 中国爬虫速查

四、robots.txt 配置示例

4.1 允许所有生成式爬虫

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: BingChat
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: DeepSeek-Bot
Allow: /

User-agent: DoubaoBot
Allow: /

4.2 禁止训练，允许搜索

# 禁止训练爬虫
User-agent: GPTBot
Disallow: /

User-agent: GoogleOther
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: WenxinBot
Disallow: /

# 允许搜索和生成式搜索爬虫
User-agent: Google-Extended
Allow: /

User-agent: BingChat
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: DeepSeek-Bot
Allow: /

User-agent: DoubaoBot
Allow: /

4.3 按路径精细控制

# 允许所有爬虫访问公开内容
User-agent: *
Allow: /public/
Allow: /blog/
Allow: /faq/

# 禁止训练爬虫访问API和内部页面
User-agent: GPTBot
Disallow: /api/
Disallow: /internal/
Disallow: /admin/

User-agent: GoogleOther
Disallow: /api/
Disallow: /internal/

# 允许搜索爬虫访问所有内容
User-agent: Google-Extended
Allow: /

User-agent: BingChat
Allow: /

五、Nginx 日志分析示例

5.1 提取生成式引擎爬虫日志

# 提取GPTBot访问日志
grep "GPTBot" /var/log/nginx/access.log | awk '{print $1, $7, $12}' > gptbot_access.log

# 提取DeepSeek-Bot访问日志
grep "DeepSeek-Bot" /var/log/nginx/access.log | awk '{print $1, $7, $12}' > deepseek_access.log

# 统计各生成式爬虫访问量
grep -oE "(GPTBot|ChatGPT-User|Google-Extended|BingChat|PerplexityBot|ClaudeBot|DeepSeek-Bot|DoubaoBot|WenxinBot)" /var/log/nginx/access.log | sort | uniq -c | sort -rn

5.2 Python脚本分析

import re
from collections import Counter

# 定义生成式爬虫正则
pattern = r'(GPTBot|ChatGPT-User|Google-Extended|BingChat|PerplexityBot|ClaudeBot|DeepSeek-Bot|DoubaoBot|WenxinBot)'

# 读取日志文件
with open('/var/log/nginx/access.log', 'r') as f:
    logs = f.readlines()

# 提取爬虫名称
crawlers = []
for line in logs:
    match = re.search(pattern, line)
    if match:
        crawlers.append(match.group(1))

# 统计
counter = Counter(crawlers)
for crawler, count in counter.most_common():
    print(f"{crawler}: {count} 次访问")

六、常见问题与最佳实践

6.1 如何验证爬虫身份？

建议使用反向DNS验证：

# 验证GPTBot
dig -x [IP地址] | grep openai.com

# 验证Google爬虫
dig -x [IP地址] | grep googlebot.com

# 验证DeepSeek-Bot
dig -x [IP地址] | grep deepseek.com

6.2 爬虫更新频率

6.3 最佳实践总结

1. 区分训练与搜索：在 robots.txt 中分别控制训练爬虫和搜索爬虫。
2. 允许结构化数据：为生成式搜索爬虫提供丰富的结构化数据。
3. 监控访问模式：定期分析爬虫访问日志，了解抓取频率和偏好。
4. 动态适配：根据爬虫类型返回不同版本的内容。
5. 保持更新：定期检查官方文档，更新爬虫清单。

七、参考资源

• OpenAI Crawling
• Google Crawlers
• Bing Crawlers
• Anthropic Crawling
• Perplexity Bot
• 百度爬虫文档
• 字节跳动爬虫
• DeepSeek Bot

最后更新：2025年7月
建议：将本清单集成到CI/CD流程中，每次部署时自动检查爬虫UA变化。