是什麼

2025 年 12 月 15 日，紐約南區聯邦地方法院法官 Sidney H. Stein 在 Ziff Davis 控告 OpenAI 的案子裡，駁回了一項主張：Ziff Davis 說 OpenAI 的爬蟲無視它的 robots.txt，構成《數位千禧年著作權法》（DMCA）第 1201 條的「規避技術保護措施」。

法官認為這條說不通，理由是 robots.txt 並沒有在技術上「有效控制存取」。他用的比喻很直白：一個要求爬蟲別抓某些內容的檔案，不比一塊寫著「請勿踐踏草坪」的告示牌更能控制誰走進那片草地。

要講準的是這次只駁回了那一條。同一份裁定裡，輔助侵權、DMCA 第 1202 條的著作權管理資訊主張都獲准繼續進行；被駁回的還有不當得利與部分商標淡化。著作權侵害本身、違約、服務條款——這些路都還開著，法院沒有說爬蟲可以隨便抓。

跟你有什麼關係

我們寫過一整套 robots.txt 的設定教學，裡面一直用「君子協定」形容它。現在有了法院的定性：它的效力來自對方願意遵守，不是來自它擋得住。

這件事有兩面，對你的意義正好相反。

一面是壞消息：如果你原本以為在 robots.txt 寫上 Disallow 就等於上了鎖、出事能告，這個裁定明白告訴你沒有。真正能主張的是著作權與合約那一路，而那要打的是內容本身被怎麼使用，不是「你無視了我的檔案」。

另一面其實更要緊：既然 robots.txt 的力量來自對方選擇遵守，那主流 AI 公司確實在遵守這件事，就不再是一個技術保障，而是一個你可以主動運用的開關。它擋不住不想遵守的人，但它百分之百擋得住願意遵守的人——包括那些你其實希望它們進來的搜尋與引用爬蟲。

這才是多數品牌真正踩到的坑：不是被惡意爬蟲抓走，是自己把 OAI-SearchBot、Claude-User、PerplexityBot 這類負責即時引用的 UA 一起擋掉，然後從 AI 答案裡整個消失。設定檔沒有法律效力，但它對你自己的可見度有百分之百的效力。

現在要不要動

有一件事不用做：不用因為這個裁定去拿掉 robots.txt。它仍然是管理爬蟲存取的唯一通用入口，只是不要再把它當成法律上的鎖。

要做的是分清楚你擋的是誰。訓練型爬蟲與搜尋／引用型爬蟲是兩回事，擋錯那一隻的代價不是內容被拿走，是你在 AI 回答裡不存在。完整的對照與一份可以照抄的設定，在AI 爬蟲規則那篇。

另外值得提醒的是：法律這條線還在動。同一位法官手上還有紐約時報告 OpenAI 與 Microsoft 那件案子。沒有人能告訴你最後會落在哪裡，給你保證結論的是在賣東西——但無論法院怎麼判，它都不會回頭替你決定哪幾隻 bot 該放行。那件事從頭到尾都在你自己手上，而且多數網站現在是設錯的。

不確定自己的設定是放行還是誤擋，我們可以先幫你看一次。

延伸閱讀