31 lines
585 B
Plaintext
31 lines
585 B
Plaintext
# robots.txt for valuefrontier.cn
|
|
# 优化搜索引擎抓取策略
|
|
|
|
# 允许所有搜索引擎抓取公开内容
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# 保护敏感路径
|
|
Disallow: /api/
|
|
Disallow: /admin/
|
|
Disallow: /home/pages/account/
|
|
Disallow: /home/center/
|
|
|
|
# 阻止抓取静态资源（节省爬虫配额）
|
|
Disallow: /static/js/
|
|
Disallow: /static/css/
|
|
Disallow: /*.json$
|
|
|
|
# 指定 Sitemap 位置
|
|
Sitemap: https://valuefrontier.cn/sitemap.xml
|
|
|
|
# 阻止 AI 训练爬虫（保护内容版权）
|
|
User-agent: GPTBot
|
|
Disallow: /
|
|
|
|
User-agent: CCBot
|
|
Disallow: /
|
|
|
|
User-agent: anthropic-ai
|
|
Disallow: /
|