爬蟲說明
GeoWebBot
GeoWebBot 是 GeoWeb(geoweb.tw)分析網站時使用的爬蟲。在伺服器紀錄裡看到它,代表有人透過 geoweb.tw 分析了你的網站。
最後更新:2026-11-15
什麼時候會來
只有在有人用 geoweb.tw 分析某個網站時,GeoWebBot 才會去讀那個網站,我們團隊自己做的檢測也一樣。它不像搜尋引擎的爬蟲那樣在網路上四處爬,只會讀這次要分析的那個網站。
讀到的內容只用來產生 GEO 健檢報告和我們的研究統計,不會拿去訓練 AI 模型。
怎麼認出它
GeoWebBot 送出的請求,User-Agent 是下面兩個之一:
GeoWebBot/1.0 (+https://geoweb.tw/bot)
讀取網頁、robots.txt 和 sitemap 時使用。
GeoWebBot/1.0 (+https://geoweb.tw/bot; agentic-web-check)
做 Agent 友善度檢查時使用。
有些網頁要執行 JavaScript 才會出現內容,這時 GeoWebBot 會用無頭瀏覽器(Chromium)再讀一次;第一次讀取被回 401 或 403 時,也會這樣再試一次。User-Agent 一樣是第一個,頁面本身的圖片、CSS 和 JavaScript 則照一般瀏覽器的方式載入。
用簽章確認是不是真的 GeoWebBot
User-Agent 誰都能冒用,所以 GeoWebBot 送到你網站的請求,另外都帶有 Web Bot Auth 簽章(HTTP Message Signatures,RFC 9421)。簽章的 Signature-Agent 是 "https://geoweb.tw",對應的公鑰公開在:
https://geoweb.tw/.well-known/http-message-signatures-directory
支援 Web Bot Auth 的防護服務,可以用這把公鑰驗證簽章,確認請求真的來自 GeoWebBot。
會讀哪些東西
- 這次要分析的那一頁,加上 robots.txt、sitemap 和 IndexNow 金鑰檔。
- 單頁分析時,最多再讀同一個網站的其他 20 頁。
- 整站分析時,最多讀同一個網站的 300 頁。
- Agent 友善度檢查會讀幾個固定位置的公開檔案(例如
llms.txt、/.well-known/底下的檔案),以及幾個常見頁面(例如關於我們、聯絡我們、隱私權政策、服務條款)。它還會故意請求一個不存在的網址,確認網站是否正確回傳 404。
GeoWebBot 不會登入,也不會送出表單。
讀取頻率
讀網頁時,GeoWebBot 對你的網站同時最多送出 2 個請求,每讀完一頁會停 0.5 秒再讀下一頁。Agent 友善度檢查讀的多半是很小的文字檔,同時最多送出 4 個請求。
用 robots.txt 封鎖或限制它
GeoWebBot 遵守 robots.txt。不想被分析,就在 robots.txt 加上:
User-agent: GeoWebBot
Disallow: /
- 如果 robots.txt 不允許 GeoWebBot 讀取這次要分析的那一頁,分析會直接停止,網站上的其他內容也都不會讀。
- 也可以只擋部分路徑,例如在
User-agent: GeoWebBot底下加上Disallow: /members/。讀單頁分析的其他頁面和做整站分析時,GeoWebBot 會逐頁確認 robots.txt,跳過不允許的頁面;Agent 友善度檢查讀的那幾個固定檔案和頁面,不在逐頁確認的範圍內。 - 讀過的 robots.txt 最多快取一小時,所以修改後最慢一小時內生效。
- 讀不到 robots.txt(檔案不存在或連線失敗)時,視為沒有限制。
被防火牆擋住時,怎麼放行
如果你想用 geoweb.tw 分析自己的網站,但防火牆、CDN 或主機商的機器人防護把 GeoWebBot 擋在外面,分析就會失敗,或只讀到驗證頁而無法正確評分。這時請在防護設定裡加一條白名單規則:User-Agent 含有 GeoWebBot 就放行。如果你的防護服務支援 Web Bot Auth,改用簽章驗證會比只看 User-Agent 可靠。
聯絡我們
如果對 GeoWebBot 有任何疑問,請寫信到 contact@geoweb.tw。