10 月 30 日,Google、OpenAI 和微軟同一天發了文,說之後要支援一組寫在網站裡的標記,網站只要寫上它,就等於在跟這幾家說「我的內容不要拿去訓練 AI」。這組寫法出自 AI 公司 Anthropic 一位員工交出的草案,他也說 Anthropic 已經開始在做了。網路上也已經有人發文,說只要在網站裡加一行,四大 AI 公司就會同時照辦。

不過我們的建議是,如果想讓 AI 推薦你的店家,就先別急著把它貼上去。因為照 Google 的打算,這組標記到時候擋掉的可能不只是訓練,Gemini App 回答客人時引用你網站的機會,也有可能跟著沒了。

是什麼

這組標記要寫在 robots.txt 裡。robots.txt 是放在網站裡的一個小檔案,專門寫給 AI 公司和搜尋引擎派來抓資料的程式看,也就是大家常說的爬蟲。而這組標記,實際上是兩行:

User-Agent: __usage_ai-training
Disallow: /

這兩行的意思是,整個網站的內容都不要拿去訓練 AI。它出自一份草案,是 Anthropic 的 Kevin Kelley 在 10 月 30 日以個人名義交給 IETF 的。IETF 雖然是負責制定網路標準的組織,不過這份草案目前還只是第一版,離正式的標準還有一段路要走。

各家打算開始支援的時間不太一樣。OpenAI 在公告裡說會支援,目標是在接下來的幾個月內做好;微軟在 Bing 的部落格上,把日子訂在 2027 年 2 月 1 日;Google 則是說計畫要支援,目標放在 2027 年。至於 Anthropic,Kelley 在 IETF 的郵件討論區裡說,他們已經在做了,只是沒有講是哪一天。

跟你有什麼關係

拿去訓練,是 AI 公司把你的網頁當成教材,拿去教下一代的模型;回答時引用,則是客人問問題的當下,AI 去讀了你的網頁,再把內容和連結放進回答裡。所以對想讓 AI 推薦自己的店家來說,有機會替你把客人帶來的,就是回答時引用這一件。

OpenAI 那邊,這兩件事本來就是分開設定的,它自己的公告裡也說,這組標記針對的是訓練。Google 這邊就不一樣了。因為 Google 從 2023 年起就有一個給網站用的開關,叫 Google-Extended,一樣是寫在 robots.txt 裡,而這個開關管的不只是 Gemini 的訓練,也包括 Gemini App 回答問題的時候,能不能拿你的網頁來用。Gemini App 就是 Google 自己的 AI 聊天程式,客人可以在手機或電腦上直接問它問題。

這次 Google 在 10 月 30 日的公告裡寫到,如果你的網站用這組標記表示不要拿去訓練,而且沒有另外針對 Google-Extended 寫規則,Google 打算把這樣的寫法,當成你連 Google-Extended 這個開關也一起擋掉了。同一篇公告也提到,明確允許 Google-Extended 的網站,有資格出現在 Gemini App 的回答裡,客人也能從那裡點進來。

舉個例子,一間官網上寫了上百篇裝修心得的室內設計公司,最怕的就是 AI 把這些文章學走,所以看到網路上那類貼文,很可能就請網站廠商把這兩行貼上去了。等到 Google 開始支援這組標記,客人在 Gemini App 裡問起裝修的事,回答裡附上他們網站連結的機會,可能就這樣沒了。

至於 Google 搜尋最上面的那段 AI 摘要,Google 這次的公告並沒有提到。照 Google 自己的說明,Google-Extended 並不會影響到網站在搜尋裡有沒有被收錄。不過今年有一篇學術研究發現,擋了 Google-Extended 的網站,被 AI 摘要拿去引用的機會明顯比較低,這只是研究觀察到的現象,原因還說不準。所以這組標記會不會連 AI 摘要也影響到,目前還沒有定論;想退出 AI 摘要的話,要另外到 Google 給網站主人用的後台 Search Console 裡去關。

現在要不要動

如果你的 robots.txt 裡本來就沒有寫這組標記,這次什麼都不用改;如果你希望 AI 推薦你,這組標記就先不要加。

如果你真的很在意內容被拿去訓練,那也要先想清楚,在 Google 目前公開的做法裡,並沒有哪一個開關,可以把「訓練」和「Gemini App 引用」分開來管。不過 Google 的公告是留了一條路:你可以在加這組標記的同時,另外寫明允許 Google-Extended,這樣你的網站還是有資格出現在 Gemini App 的回答裡。只是照 Google 對這個開關的定義,這麼一來 Gemini 的訓練也會跟著被允許,等於你只擋了其他幾家。

而且這組標記的影響不會馬上出現。你貼上去的當下,大部分的 AI 公司都還沒開始照著做,要等它們一家接著一家跟上,效果才會慢慢冒出來,像 Google 這一家就要到 2027 年。到了那個時候,就算報表上從 Gemini App 來的客人變少了,你也很難確定是這組標記造成的。

所以要擋還是要放,得把各家的做法一家一家對過,才知道會付出什麼代價。這件事,也可以交給我們的 GEO 託管來處理。我們管的是客人去問 AI 的時候,AI 找不找得到你,講到你的時候又講得對不對;像 robots.txt 這種網站裡的設定,也都在我們會動手去修的範圍裡。等各家開始照這組標記走了以後,我們還會再回頭確認,你的網站有沒有繼續被引用。

還有,網站廠商或架站平台,有時會替你在 robots.txt 裡設好一些規則,連你自己都不一定知道。若是想確認你的網站現在有沒有擋到不該擋的 AI 爬蟲,就可以跟我們的顧問約個時間,在 Demo 裡確認一次。顧問會帶你看官網的 GEO 健檢,這個健檢是免費的,其中一項就在看你的 robots.txt 有沒有擋到 AI 的爬蟲;接著再當場打開 Gemini App 和 ChatGPT,看它們回答你這一行的問題時,引用的是誰家的網站、裡面有沒有你。


延伸閱讀