爬蟲說明

GeoWebBot

GeoWebBot 是 GeoWeb(geoweb.tw)分析網站時使用的爬蟲。在伺服器紀錄裡看到它,代表有人透過 geoweb.tw 分析了你的網站。

最後更新:2026-11-15

什麼時候會來

只有在有人用 geoweb.tw 分析某個網站時,GeoWebBot 才會去讀那個網站,我們團隊自己做的檢測也一樣。它不像搜尋引擎的爬蟲那樣在網路上四處爬,只會讀這次要分析的那個網站。

讀到的內容只用來產生 GEO 健檢報告和我們的研究統計,不會拿去訓練 AI 模型。

怎麼認出它

GeoWebBot 送出的請求,User-Agent 是下面兩個之一:

GeoWebBot/1.0 (+https://geoweb.tw/bot)

讀取網頁、robots.txt 和 sitemap 時使用。

GeoWebBot/1.0 (+https://geoweb.tw/bot; agentic-web-check)

做 Agent 友善度檢查時使用。

有些網頁要執行 JavaScript 才會出現內容,這時 GeoWebBot 會用無頭瀏覽器(Chromium)再讀一次;第一次讀取被回 401 或 403 時,也會這樣再試一次。User-Agent 一樣是第一個,頁面本身的圖片、CSS 和 JavaScript 則照一般瀏覽器的方式載入。

用簽章確認是不是真的 GeoWebBot

User-Agent 誰都能冒用,所以 GeoWebBot 送到你網站的請求,另外都帶有 Web Bot Auth 簽章(HTTP Message Signatures,RFC 9421)。簽章的 Signature-Agent 是 "https://geoweb.tw",對應的公鑰公開在:

https://geoweb.tw/.well-known/http-message-signatures-directory

支援 Web Bot Auth 的防護服務,可以用這把公鑰驗證簽章,確認請求真的來自 GeoWebBot。

會讀哪些東西

GeoWebBot 不會登入,也不會送出表單。

讀取頻率

讀網頁時,GeoWebBot 對你的網站同時最多送出 2 個請求,每讀完一頁會停 0.5 秒再讀下一頁。Agent 友善度檢查讀的多半是很小的文字檔,同時最多送出 4 個請求。

用 robots.txt 封鎖或限制它

GeoWebBot 遵守 robots.txt。不想被分析,就在 robots.txt 加上:

User-agent: GeoWebBot
Disallow: /

被防火牆擋住時,怎麼放行

如果你想用 geoweb.tw 分析自己的網站,但防火牆、CDN 或主機商的機器人防護把 GeoWebBot 擋在外面,分析就會失敗,或只讀到驗證頁而無法正確評分。這時請在防護設定裡加一條白名單規則:User-Agent 含有 GeoWebBot 就放行。如果你的防護服務支援 Web Bot Auth,改用簽章驗證會比只看 User-Agent 可靠。

聯絡我們

如果對 GeoWebBot 有任何疑問,請寫信到 contact@geoweb.tw。