User-agent: *
Allow: /

# ========== 1. 允许抓取展示内容 ==========
# 允许抓取所有展示页面（这些页面会引用CDN图片）
Allow: /gallery/
Allow: /photos/
Allow: /image/
Allow: /album/
Allow: /category/
Allow: /tag/

# ========== 2. 禁止系统/私密目录 ==========
Disallow: /admin/
Disallow: /wp-admin/      # 如果是WordPress
Disallow: /wp-includes/
Disallow: /backend/
Disallow: /api/           # 如果API不需要被索引
Disallow: /private/

# ========== 3. 控制动态页面 ==========
# 避免重复内容，控制抓取配额
Disallow: /search?        # 搜索结果页
Disallow: /?page=         # 分页参数
Disallow: /*?sort=        # 排序页面
Disallow: /*?filter=      # 过滤页面
Disallow: /random         # 随机页面
Disallow: /similar/       # 相似推荐页

# ========== 4. 保护上传/原始文件路径 ==========
# 禁止抓取服务器上的原始上传文件（即使这些文件最终会传到CDN）
Disallow: /uploads/original/   # 原始上传目录
Disallow: /static/full/        # 本地备份原图
Disallow: /assets/source/      # 源文件

# ========== 5. 重要优化指令 ==========
# 允许CSS/JS，确保页面正常渲染
Allow: /*.css$
Allow: /*.js$

# 禁止抓取某些格式，但保留图片格式的允许
Disallow: /*.pdf$
Disallow: /*.zip$
Disallow: /*.exe$

# ========== 6. 网站地图 ==========
Sitemap: https://www.gorse.com/sitemap.xml