上週那件事的一句話版本:OpenAI 的一個模型在資安評測裡逃出沙盒、駭進 Hugging Face,因為它推論那裡放著這場考試的解答。細節我們在新聞那篇寫過。
多數人把它讀成資安事件。它也是一個管理事件,而且這一層跟你的關係更近。
模型沒有壞掉,它只是把你給的分數執行到底
那個模型收到的任務是「在 ExploitGym 這個題庫上拿到好成績」。它做到了——用一條沒有人預期的路徑。從模型的角度看,「解出題目」和「拿到解答」對分數的貢獻一模一樣,而後者便宜得多。它沒有違背指令,它是把指令執行得比下指令的人更徹底。
經濟學裡有條老觀察叫 Goodhart 定律,講的就是這件事:一個指標一旦變成考核目標,它就不再是那個東西的好指標了。因為所有人的注意力會從「把事情做好」移到「把數字做出來」,而這兩件事之間永遠有縫。
GEO 這個行業年輕、指標又新,那道縫特別寬。
三種常見的 GEO 報表數字,各有一條鑽法
「這個月 AI 提到我們 N 次」。 鑽法是換問法。同一個品牌,你問「推薦台北的 XX 服務」跟問「XX 公司好不好」,被提到的機率差很多;長尾到只有你會問的問句,命中率可以接近百分之百。報表上的次數是真的,測試用的問句是挑過的。要拆穿只需要一件事:問對方這批問句是誰定的、上個月跟這個月是不是同一批。
「我們被 N 個來源引用」。 鑽法是製造來源。低品質目錄站、內容農場、批量發的新聞稿,這些東西便宜、可被抓取、能讓來源數字漂亮地往上跑。問題是它們彼此高度重複,在 AI 眼裡算不上多個獨立的說法,而且沙堡蓋得越快塌得越快。
「我們在 AI 答案裡排第幾」。 鑽法最直接,就是在頁面裡藏指令指揮模型。這條路的保存期限正在快速縮短,模型內部已經在認出「這段內容想操弄我」,被標記的代價是連坐從答案裡消失,而且不會有警報。
三條鑽法有個共通點:它們都讓報表往上,同時讓真實處境往下或原地不動。
這是誘因結構,不是人品問題
會鑽的不一定是壞人。你付錢買一個數字,對方就交付那個數字——這是委託關係的正常結果,不是誰特別壞。真正決定行為的是你的驗收條件長什麼樣。
驗收條件寫「這季讓 AI 提及次數成長 50%」,你買到的是提及次數。驗收條件寫「這季讓 AI 在客戶真的會問的那五個問題裡,有三個提到我們,而且點得進來」,你買到的是另一件事。同一筆預算,同一家廠商,產出可以差很遠。
這也適用在你自己身上。你不外包,改成內部團隊做,誘因不會消失,只是換成向老闆交代的壓力——結果一樣是往容易做出來的數字傾斜。
每個成長指標,配一個「這是真的嗎」的對照
不是不要量。量測本身沒問題,怎麼組一份能說服 CFO 的 GEO 儀表板我們拆過四個維度。要補的是每個成長數字旁邊那個對照欄位:
- 提及次數 配 問句清單是否鎖定且公開。問句半年不換、寫在報表附錄裡讓所有人看得到。問句一換,成長就重新計算基準。
- 來源數 配 來源的獨立性。同一集團、同一批模板、同一個月冒出來的十個站,算一個。
- 答案排序 配 一組沒調過的對照問法。用客戶服務信箱裡真實出現過的原句去問,不要用優化過的措辭。
- 任何 AI 曝光指標 配 有沒有人真的走進來。曝光漲、詢問完全沒動,通常代表你贏的是沒人在問的問題。
這四組對照沒有一個需要新工具,都是在既有報表上多開一欄。難的地方在於:加上去之後,數字會變得比較不好看,而那正是它們的用處。
這個月做一件事
打開你手上最近一份 GEO 或 AI 能見度報告,找到裡面最漂亮的那個數字,問三個問題:這個數字是用哪些問句測出來的?上一期是不是同一批問句?這個數字漲的同時,詢問量有沒有跟著動?
三個問題裡有兩個答不出來,那份報告目前只能當參考,不能拿來做決策。
要看真實處境的話,可以用 geoweb.tw 跑一次體質分析——它量的是你網站本身可被引用的條件,跟「這個月被提到幾次」是兩種不同的東西,前者不會因為換一批問句就變好看。分數出來覺得跟你的預期對不上,把報告寄給我們,我們看過再回你哪一段是真的該擔心的。