信用卡組織 Visa 辦了一場考試,考 AI 替客人買東西的本事:22 款 AI 模型在模擬的購物情境裡,替客人買電視、筆電這類商品,看它能不能先問清楚客人要什麼,再決定買不買。Visa 台灣 11 月 12 日發新聞稿公布首輪成績,據中央社當天的報導,平均通過率只有 56.6%;而沒通過的那些測試裡,約有 53% 的結果,是 AI 最後還是決定買下去。讓 AI 幫忙購物這件事,已經有支付業的大公司在一題一題地考了,考出來的是它常常過不了關,過不了關的測試裡,有一半左右還是下了單。我們的立場是:AI 替客人挑選、下決定的時候,只能根據它讀到的資料,關於你的資料越模糊,它就越可能把你看錯,所以這些資料要清楚到沒有讓它誤會的空間,而且現在就要做。
是什麼
這份評測的英文名稱是 Visa Agentic Commerce Benchmark,Visa 11 月 5 日先在美國發表,中文叫「AI 智慧購物評測」。考法是這樣的:客人一開始常常說不清楚自己要什麼,AI 得透過對話把預算和需求問出來,找到合條件的商品才買,一款都不合就不該買。Visa 舉的例子是挑電視:客人只提了親友推薦過某個牌子、自己是某家供應商的會員,其他細節都沒講,AI 就得自己追問預算,還有要不要支援某些影像格式、拿來打電動夠不夠力。
成績除了平均偏低,也不太穩定:每款 AI 在同一個情境都考三次,同一題這次考過了,重考時還是常常沒過。沒通過又照樣下單的那些,有的是推薦了不合要求的商品,有的是客人的條件還沒問齊就下手了。Visa 在新聞稿裡說,要讓消費者信任 AI 代為購物,關鍵是減少錯誤、提升穩定性,這兩項都還有進步空間;Visa 也說,計畫之後把評測延伸到結帳、付款和訂單成立。
這份評測是 Visa 自己辦、自己公布的,Visa 本身也有一系列替 AI 代為購物設計的產品和服務。另外,英文新聞稿裡的幾個數字,跟台灣這份有些微的差距,英文新聞稿和台灣各報刊出的中文版都沒有交代原因,本文照 Visa 台灣的中文版來寫。
跟你有什麼關係
Visa 考的是 AI 自己的本事:會不會問、該不該買,這些要等開發 AI 的公司去改進,你管不到。可是 AI 下決定的時候,拿客人的條件去比對的另一半,是它讀到的商品和店家資料,這一半裡,你自己官網上那一塊就在你手上。
比方說,假設你在高雄岡山開一家賣淨水器的店,有自己的官網。一位客人跟 AI 說:「廚房水槽下面沒有插座,想找一台不用插電的淨水器,濾心最好自己就換得了。」這位客人已經把條件講得很清楚了,AI 要替他挑,接著就得知道你店裡哪幾款不用插電、濾心換起來要不要請師傅。這些事你閉著眼睛都答得出來,官網上卻可能只列了型號和價錢。
AI 讀不到答案,你那幾款合不合,它就沒有根據可以判斷,這時不管把你算進去還是排除掉,都不是根據你店裡的實際條件。誤判成不合,這一單就給了別家;誤判成合,它可能挑中你一款其實要插電的機器,客人照著買回家卻裝不起來,退貨和抱怨找上的就是你的店。
現在要不要動
要,而且正因為 AI 做決定還會出錯,你的資料才更要現在就寫清楚:寫得越清楚,留給它猜的地方就越少。客人現在就用得到了:Google 11 月 9 日在台灣推出 Gemini 中文版購物功能,客人講出需求,它就推薦商品,列出價格、評價和購買管道。要做的,是把每一款商品、每一項服務合哪些條件、不合哪些,用文字寫在官網上,購物平台上的商品頁、別人寫到你的文章,也要跟官網對得上。
只是 AI 講錯你的時候,光看一句回答,分不出問題出在哪一邊:是它沒問清楚客人,還是讀到的你不夠清楚。只有後一種是你改得動的;分不出來就動手改網站,改了半天,也未必改到 AI 看錯的那一處。要分得出來,得拿 AI 的回答逐句對照你每一款的實際條件,同一組條件還得多問幾輪,因為評測裡,同一個情境這次考過、重考常常沒過,所以只問一次,看不出它是不是每次都這樣答。
想先看看 AI 替客人挑選時怎麼看你,可以跟我們的顧問約一場 Demo。顧問會把你這一行客人會開的條件,交給 ChatGPT 或 Gemini,像上面那句「沒有插座、要不用插電的」,讓 AI 當著你的面替客人挑一次:它挑了誰、有沒有你、講到你的商品時說得對不對,螢幕上都看得到。同一場也會打開你官網的 GEO 健檢分數。GEO 的意思,是讓 AI 替客人挑選、介紹的時候,把你算進去,也把你寫對;這份健檢是 geoweb.tw 免費的網站檢查,從 12 個面向看 AI 讀不讀得懂你的網站。
後面這份長期的工作,我們用 GEO 託管來承接:官網上每一款商品合哪些條件,由我們改寫清楚;購物平台和其他網站上寫到你的地方,要改的我們整理好交給你;再定期拿客人會開的條件去問 ChatGPT、Gemini 等主流 AI,把每一次的回答存下來,跟你每一款的實際條件比對,看它挑選的時候有沒有把你讀對。
延伸閱讀
- AI 代理付錢的路,大公司先鋪了 — Visa 在台灣的另一條線:讓 AI 代理替人付錢的測試,台灣有 9 家發卡銀行參與
- Gemini 中文版購物,在台灣上線 — 台灣客人現在就能用中文跟 Gemini 講預算和需求,請它挑商品、做比較表
- AI 代理替人比價,商品資料對不上就出局 — 替客人比價的 AI 代理拿來比的是哪幾格事實,又是從哪些地方讀來的