# ============================================================================= # 911吃瓜网 · 站群 robots.txt(相对路径 · 随机域名通用) # ----------------------------------------------------------------------------- # · 全部使用相对路径,不写死任何域名 # · 允许全站抓取,并指向本站 sitemap # · 经 index.php 访问时保持相对路径输出;爬虫按当前访问域名自动解析 # · 配套:/sitemap.xml · /image-sitemap.xml · /sitemap.html # · 访问 /sitemap.xml 时自动扫描首页、栏目页、文章页并同步更新 # ============================================================================= # ---- 全站允许抓取 ---- User-agent: * Allow: / # ---- 百度系 ---- User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Baiduspider-image Allow: / User-agent: Baiduspider-mobile Allow: / User-agent: Baiduspider-video Allow: / User-agent: Baiduspider-news Allow: / # ---- 搜狗系 ---- User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: Sogou inst spider Allow: / User-agent: Sogou spider2 Allow: / User-agent: Sogou News Spider Allow: / # ---- 360 / 头条 / 神马 ---- User-agent: 360Spider Allow: / User-agent: 360Spider-Image Allow: / User-agent: Bytespider Allow: / Crawl-delay: 1 User-agent: YisouSpider Allow: / # ---- 国际搜索引擎 ---- User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: Googlebot-News Allow: / User-agent: Bingbot Allow: / User-agent: Applebot Allow: / User-agent: DuckDuckBot Allow: / User-agent: Slurp Allow: / User-agent: YandexBot Allow: / # ---- AI / 辅助爬虫 ---- User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / # ---- 站点地图(相对路径,不写死域名)---- Sitemap: /sitemap.xml Sitemap: /image-sitemap.xml