# robots.txt — 纳多狐狐的实验室
# https://nardofox.cn
# 最后更新：2026-09-17
#
# ═══════════════════════════════════════════════════════════════════════════
# 内容使用声明（机器可读）
# ═══════════════════════════════════════════════════════════════════════════
#
# 本站文章版权归站长所有。页脚标注的 CC BY-NC-SA 4.0 继续有效，
# 并在其之上**明确附加**一条限制：
#
#   允许 —— 搜索引擎收录 · 个人阅读 · 引用与链接（注明出处）· 非商业转载（同协议共享）
#   禁止 —— 用于生成式 AI 模型的训练 / 微调 / 蒸馏 / 评测集构建 / 数据集制备
#
# 完整条款（含技术措施与联系方式）：https://nardofox.cn/privacy/
#
# 下面两条是同一件事的两种机器可读写法，来自两个不同的标准阵营。同时写上，
# 是为了让不同厂商的爬虫各读各的：
#
#   Content-Usage   IETF AIPREF，draft-ietf-aipref-attach-05（Standards Track，2026-08）。
#                   它写在 User-agent 分组**内部**，只作用于该组能抓到的路径。
#   Content-Signal  Content Signals Policy（contentsignals.org，Cloudflare 等推动的业界提案）。
#                   它写在**文件顶层**，不属于任何分组。
#
# ⚠️ 这两行都只是「声明」，不是「强制」。它们约束的是守规矩的爬虫。
#    不守规矩的由服务器侧兜底：nginx 对第一节里那批训练类 UA 直接返回 403。

Content-Signal: search=yes, ai-train=no

# ═══════════════════════════════════════════════════════════════════════════
# 一、AI 训练 / 数据集采集爬虫 —— 一律禁止抓取
# ═══════════════════════════════════════════════════════════════════════════
#
# 判定标准：抓走内容是为了「喂模型 / 建语料」，本身不给本站带来任何回访。
#
# ⚠️ Google-Extended 与 Applebot-Extended 这两个**不是真实 UA**：它们是 Google /
#    Apple 提供的 robots.txt 专用开关 —— Googlebot、Applebot 照常抓取，这两个
#    token 只用来声明「别把我的内容喂给 Gemini / Apple Intelligence」。
#    所以它们只出现在本文件，**不出现在** nginx 的 UA 拦截清单里（拦了也没用，
#    网络上根本不会有自称 Google-Extended 的请求）。
#
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Claude-Web
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Amazonbot
User-agent: Diffbot
User-agent: Omgilibot
User-agent: ImagesiftBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Timpibot
User-agent: YouBot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: PanguBot
User-agent: Webzio-Extended
Disallow: /

# ═══════════════════════════════════════════════════════════════════════════
# 二、AI 搜索 / 用户当场提问 —— 放行，但不许拿去训练
# ═══════════════════════════════════════════════════════════════════════════
#
# 这几个不参与预训练：它们只在**有人真的问起**时抓当前页面，并给出源链接。
# 拦掉它们不会减少任何训练数据，只会让 AI 答不出本站的内容 —— 得不偿失。
# （站长 2026-09-17 定调。若日后改主意要一起封：把这一组整段删掉即可，
#   服务器侧本来就没拦它们，不需要动 nginx。）
#
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
Allow: /
Disallow: /search.xml
Content-Usage: train-ai=n

# ═══════════════════════════════════════════════════════════════════════════
# 三、其余所有爬虫 —— 可以抓，但不得用于训练
# ═══════════════════════════════════════════════════════════════════════════
#
# 这一组才是 Content-Usage 真正发挥作用的地方：将来新冒出来的、上面还没点名的
# AI 爬虫，拿不到「专门的禁令」，但会在这里读到 train-ai=n。
#
# Disallow: /search.xml 是纯带宽考虑 —— 那是站内搜索的索引文件（三百多 KB），
#   对索引站点没有任何价值，只是白吃流量。
#
User-agent: *
Allow: /
Disallow: /search.xml
Content-Usage: train-ai=n