一個最貴的誤會：「擋 AI」不是只有一個開關

「我不想讓 AI 拿我的內容去訓練」——這個念頭很合理，於是很多人去 robots.txt 裡把 AI 相關的爬蟲一律封掉。問題是：同一家 AI 公司，往往派出不只一隻爬蟲，而且各自做完全不同的事。 一刀全擋，常常連「讓你被 AI 引用」的那隻也一起砍了。

結果是最諷刺的一種失敗：你以為自己只是拒絕被訓練，實際上是把自己從 AI 的答案裡刪掉——而且因為看不到，你完全不知道。

訓練 bot 和搜尋 bot，是兩隻不同的爬蟲

主流 AI 公司大多把爬蟲拆成兩類用途：一類抓內容去訓練模型，一類在使用者當下提問時即時去抓、然後引用你。擋前者不影響能見度；擋後者，等於退出那家引擎的答案。

AI 公司 訓練用（擋了影響小） 搜尋／即時引用用（擋了你會消失）
OpenAI GPTBot OAI-SearchBot、ChatGPT-User
Anthropic ClaudeBot、anthropic-ai Claude-User、Claude-SearchBot
Perplexity PerplexityBot Perplexity-User
Google Google-Extended（退出 Gemini 訓練，Gemini App 的引用也一起退出——例外，見下段） Googlebot（擋了連搜尋一起沒）
Apple Applebot-Extended Applebot

重點不是背下這張表，而是理解「擋訓練」和「保留能見度」可以同時做到——前提是你分得清哪隻是哪隻。

例外：Google-Extended 不是乾淨的「訓練開關」

上表有一格要特別拉出來講。照 Google 官方文件的寫法，Google-Extended 管的有兩件事：一是內容能不能拿去訓練之後的 Gemini 模型，二是 Gemini App 回答問題時，能不能拿你的網頁當根據。文件也寫明，擋掉它不影響網站在 Google 搜尋裡的收錄，也不會被當成排名訊號。Google 10 月 30 日的公告則說得更直接：明確允許 Google-Extended 的網站，有資格出現在 Gemini App 的回答裡，客人也能從那裡點進來。

所以擋了它，Gemini App 的回答裡本來就不會有你。一份大規模量測研究（SIGIR 2026，arXiv:2604.27790，2025 年 12 月資料）也量到類似的情形。研究團隊測的是透過 API 連上 Google 搜尋的 Gemini，不是手機上的 App。結果有 21 個大型網站，從《紐約時報》、BBC、路透社到《Nature》，在 Google 搜尋和 AI Overviews 裡，各自都出現在至少 20 則查詢的結果中，Gemini 卻一次也沒有引用過；再往下查，這 21 個網站全都擋了 Google-Extended。

比較出乎意料的是 AI Overviews。Google 文件說擋它不影響搜尋收錄，AI Overviews 又是 Google 搜尋的一部分，照理不該受影響，同一份研究卻發現：封鎖 Google-Extended 的網站，實際上明顯較不容易被 AI Overviews 引用。

AI Overviews 這一半的原因還沒有定論，但對你的意義很清楚：把 Google-Extended 當成「擋了影響小」的純訓練開關，Gemini App 那邊等於直接退出，AI Overviews 這邊也是拿自己的能見度在賭。只要你在乎 AI 能見度，Google-Extended 建議放行；真的要退出訓練，從其他家的訓練 UA 下手。

擋錯的代價：從 AI 答案裡「被消失」

傳統 SEO 擋錯爬蟲，你還會在排名掉的時候警覺。但 AI 引用是看不到的：使用者問了問題、AI 給了答案、裡面沒有你——你不會收到任何通知，後台也不會有那筆「沒發生的曝光」。

這就是為什麼擋錯 AI bot 特別危險：它沒有警報。等你發現「怎麼同業在 ChatGPT 被提到、我都沒有」，往往已經錯過很久。

noai 跟 robots.txt 不是同一件事

順帶澄清一個常見混淆：頁面上的 noai / noimageai meta 標籤、和 robots.txt 的爬蟲規則，是兩套不同機制。前者是請求「別拿這頁去訓練」，後者是控制「哪隻爬蟲能不能抓哪些路徑」。兩者都靠爬蟲自願遵守、都不是強制標準，而且都可能因為設定太粗而誤傷你的能見度。

那到底該怎麼設

原則一句話：擋訓練、放行搜尋。

  • 想退出訓練，就針對訓練用的 UA（GPTBot、ClaudeBot、Applebot-Extended…）設規則——Google-Extended 是例外，擋它會一起退出 Gemini App 的回答，研究也看到這類網站比較少被 AI Overviews 引用（見上段）；
  • 務必放行搜尋／即時引用用的 UA（OAI-SearchBot、Claude-User、Perplexity-User…），否則你等於主動退出 AI 答案；
  • 改完用各家的爬蟲文件對照一次，確認你擋的是你以為的那隻。

各家完整的爬蟲清單與規則差異，見前篇：8 大 AI 爬蟲規則差異與最佳設定。

為什麼這件事不能「設一次就忘」

AI 公司會新增、改名爬蟲（這兩年已經換過好幾輪），robots.txt 一個字打錯、或 Cloudflare 的一個預設選項，就可能讓整站對某隻 bot 關門。加上 AI 引用的失分沒有警報，這不是「設定一次」的工作，而是要持續對照最新爬蟲清單、定期驗證的體質維護——也正是這種「看不到、又會慢慢流血」的問題，最需要有人固定盯著，而不是等出事才查。