是什麼
2026 年 7 月 1 日，Cloudflare 把它對 AI 爬蟲的政策又往前推一步。以前擋爬蟲是你自己要去 robots.txt 設；現在對新接入、用免費方案的網域，Cloudflare 預設就幫你擋，而且第一次把爬蟲分成三類分開處理：搜尋（抓內容建索引、之後回答關於你的問題）、代理（使用者當下叫它去辦事、即時去抓）、訓練（抓去餵模型）。預設被擋的是後兩類，而且只發生在有顯示廣告的頁面上——搜尋類照放，站長也能在後台把這個預設關掉。
它同時對 AI 公司劃了一條線：9 月 15 日前，把「搜尋」和「訓練」用途的爬蟲身份分乾淨，否則混在一起的就會被擋。背後是 Cloudflare 這一年鋪的收費機制——Pay Per Crawl（用 HTTP 402 對爬蟲逐次收費）和 Monetization Gateway——想把「AI 免費抓走內容」變成「要抓，先談價」。
有一點媒體講過頭了：你會看到「9/15 後 100% 封鎖、無例外」的說法，那是誇大。照 Cloudflare 官方公告，預設擋的是訓練＋代理、限有廣告的頁面、主要針對新站與免費客戶，還留了關閉選項。它是把預設值換邊，不是把門焊死。
跟你有什麼關係
第一直覺會是：「太好了，以後 AI 用我的內容得付錢。」對絕大多數品牌，這件事跟收費沒關係——收得到爬取費的是 Reddit、大型媒體那種量級，你的網站更可能連進收費市集的門票都沒有。
比起收費，更值得讀的是 Cloudflare 為什麼要這麼做。它攤開的數字是：AI 爬蟲抓走大量內容，卻幾乎不回導流量。Cloudflare 執行長 Matthew Prince 多次受訪指出，OpenAI 的爬蟲大約每抓一千多次，才回導 1 次點擊，傳統 Google 搜尋則大約每十幾次就換 1 次。皮尤研究中心 2025 年 7 月的研究則發現：Google 頁面出現 AI 摘要時，使用者點下方傳統搜尋結果連結的比率從 15% 掉到 8%，幾乎腰斬。抓取暴增、點擊消失——連基礎設施層都受不了，才會動手把 AI 預設擋在門外。
這個「預設擋」對你有一個具體風險：如果你的網站掛在 Cloudflare、或你的 CDN 之後跟進同樣的預設，你可能在不知情下被歸到「封鎖」那一邊。 而封鎖是連坐的——被擋掉的不只訓練爬蟲，還可能包括那些「使用者一問就即時去抓、然後在答案裡引用你」的搜尋爬蟲。從 AI 答案裡消失是沒有警報的，等你發現同業在 ChatGPT 被提到、你沒有，通常已經過了很久。（這條線怎麼設得剛好，別擋錯一隻 bot 講得更細。）
現在要不要動
別為了這則新聞做兩件事：別急著慶祝「終於能跟 AI 收錢」（多數人收不到），也別跟風把 AI 爬蟲全封（很可能連自己一起封掉）。
要做的其實是一小一大兩件。小的：如果你用 Cloudflare，進後台確認這個新預設有沒有順手擋掉你想留的搜尋爬蟲。大的：把力氣放回「平台怎麼改預設，你都還是被引用的那個」。誰擋誰放、收不收費，這兩年已經翻過好幾輪、之後還會再翻；唯一跨得過每次翻轉的，是讓 AI 願意在答案裡標你名字的那些條件——那是收費紅利談不談得成之前，得先站穩的地基。
robots.txt 範本網路上一抓一大把，難的從來不是貼上去，是在這種「預設被平台悄悄換邊、又沒有警報」的環境裡，持續盯著哪隻爬蟲被擋、哪個引用掉了。那是要有人固定顧的事，不是設一次就結束。