你平常查 AI 看到的那段好話,只是其中一種問法的答案。我們推測,老闆自己查的時候多半打的是「幫我推薦」,客人快要下決定了,問的卻可能是「這家有什麼缺點」「有沒有地雷」「有沒有災情」。同樣都在講你,這兩種問法得到的回答,口氣可以差很多,所以平常看到 AI 講你好話,還不能就這樣放心。
這件事現在有人實際量過了。做 SEO 工具的 SE Ranking,旗下有個產品叫 SE Visible,11 月 4 日在自家部落格發了一份研究。他們把同一個品牌的同一件事,寫成好聽的、普通的、帶疑慮的三種問法,像是 Samsung 的 Frame 電視,就分別問選它的理由、選之前要考慮什麼、最大的缺點是什麼,再把 ChatGPT 的 900 則回答判成正面、中性或負面。
研究測的是電視、航空哩程會員和 GLP-1 減重藥的遠距醫療這三類東西。這是廠商自己做的研究,只測了 ChatGPT,公開的範例題都是英文,也沒有台灣的品牌,所以台灣客人用中文問會不會一樣,研究裡並沒有答案,我們也只拿它當方向來看。
問得帶疑慮,力道大約是問得好聽的兩倍
結果是,問法的口氣一換,回答的口氣多半也會跟著變,三類都是這樣。不過兩邊的力道並不一樣:拿普通問法的回答當基準,帶疑慮的問法讓口氣變差的幅度,大約是好聽的問法讓口氣變好的兩倍。
而且就連普通問法的回答,平均也略微偏向好話,所以你平常看到的,剛好是比較好看的那一邊。寫這份研究的 Celeste Gonzalez 也提醒,只用普通或好聽的問法去測,得到的印象可能比帶著擔心來問的人看到的樂觀得多。
假設你在台南永康開一家健身房,想知道 AI 怎麼看你,打的是「永康健身房推薦」,回答裡有列到你,還說環境不錯,你看完就放心了。附近有位上班族下週就要簽一年的約,他問的卻是「這家健身房有什麼缺點?中途不想練了可以退費嗎?」同樣是你這家店,他讀到的很可能是另一種口氣,這段對話你也不會看到。
口氣會變多少,要看 AI 原本怎麼看你
不過問法對口氣的影響也有個限度,最後會落在哪裡,還要看品牌和產業本身。研究把口氣打成分數,全是壞話是 -100,全是好話是 +100,0 就是不好不壞。同樣用帶疑慮的問法,電視平均大約 -11,還算接近不好不壞;GLP-1 減重藥的遠距醫療服務卻掉到大約 -53,壞話明顯比好話多。
作者的解讀是,AI 回答的時候,參考的不只是這句話的口氣,還有它讀到的資料和評論。所以就算客人專挑弱點問,也有問不倒的時候,像 Sony 的電視被問到某項弱點,回答還是偏向好話。
放到一家店身上,我們推測道理也差不多:如果 AI 讀得到的資料把你寫得清楚,評價也不錯,客人帶著疑慮來問的時候,回答的口氣就不會變差那麼多。
退費、保固這類問題,口氣不太會變好
有一類題目老闆最該留意,就是研究裡的信任類問題,像能不能退費、隱私、安全、保固這些事。這類題目就算問法很正面,回答的口氣也沒有明顯變好,還是會帶著保留。作者的解讀是,問到這種事,回答本來就會帶著但書,所以好聽的問法也改變不了多少。
我們猜,客人快掏錢的時候,心裡掛著的多半就是這類事。至於客人會怎麼問,你是管不了的,研究的結論也是這個意思:這些帶疑慮的問題客人本來就會問,品牌能影響的,是 ChatGPT 回答時能參考哪些資料。所以退費怎麼算、保固到哪裡,這些事官網有沒有寫清楚,才是你能動手的地方。
看到幾句壞話,也分不出是不是問法造成的
你可能會想,那我也問一句「有沒有地雷」不就好了。問當然問得到,只是看到幾句壞話的時候,你分不出那是問法造成的,還是 AI 本來就這樣看你。作者也提醒,問出負面的回答,不一定代表 ChatGPT 本來就看壞這個品牌。要分得出來,同一件事得用不同問法放在一起比,而 AI 每次的回答又不太一樣,所以只問一次也看不準。
這樣比完,也只看了一件事而已。客人會擔心什麼,每一行都不一樣,老闆也不一定猜得到:你覺得退費規定寫得很清楚,他擔心的可能是這家店撐不撐得到合約結束。一件一件比下來,隔一陣子又要再看一次,就不是下班後問幾句能做完的了。
你平常看到的是好聽的那一邊,另一邊可以留到 Demo 上補看。Demo 是跟我們的顧問約一段時間,由他示範給你看:你這一行客人最放心不下的那件事,他會當場用好聽的和帶疑慮的兩種問法去問 ChatGPT,口氣差在哪裡,你自己就讀得出來。同一場我們也會帶你看官網的 GEO 健檢分數,這是 geoweb.tw 免費的網站健檢,從 12 個面向看 AI 讀不讀得懂你的網站。
Demo 上看到的是今天的口氣,想讓 AI 讀到的那些關於你的資料變好,就要長期去做。GEO 的全名是生成式引擎優化,做的就是這件事,也是我們的本業,交給我們就叫 GEO 託管:官網該寫清楚的地方我們幫你改,其他網站和地圖上寫到你的資料幫你整理一致,再定期拿客人會問的問題去問 ChatGPT、Gemini 等主流 AI,看它講到你的口氣有沒有變。你只要負責驗收結果就好。
延伸閱讀
- AI 替客人讀完評論,舊客訴也被算進去 — AI 講你的口氣從哪裡來:改好的事很少人寫,舊抱怨還掛在網路上
- 自己問 AI 查品牌,答案早被你養好看 — 問法之外的另一層偏差:你在自己的對話裡講過的話,也會把答案帶得對你有利
- AI 能見度佔比,只問一輪的別當真 — 佔比只能計算 AI 有沒有提到你,算不到提到你的時候是什麼口氣
我們每季報給老闆的ai題目,當初都是照推薦型問法挑的,數字一直好看。這季預算不動,只把幾題換成帶疑慮的口氣,另開一欄報,好看的那欄照留。
問一下啦,客人問AI這個師傅會不會亂加價,它是看哪裡的?我們接案的啥網站都沒有。
保養廠換完零件,舊的我一定擺在桌上給客人看,哪裡壞了指給他看,換不換他自己決定。客人心裡怕的就是被多換,擺出來他就不用問了。聽說現在年輕客人會先拿手機問這家店可不可靠,我不太懂那個,不過人只要進得了門,舊零件擺出來,話就好說了。
報名駕訓班跟相親差不多,先問的都不是優點。最常被問週末班排不排得到,再來是教練會不會罵人
同一個學生,我問他喜不喜歡英文,他說還好。換成問他最怕英文哪一塊,他可以講十分鐘。ai大概也是這樣,你問哪一邊,它就講哪一邊。家長在群組裡互相問的時候,問的也常常是後面那種。
後面那種問法,家長問到我這裡的版本是,孩子上課有沒有在發呆。我一律先微笑,再把老師的觀察紀錄翻給他看。
合約我都寫得很白,保固幾年、工期延了怎麼算,白紙黑字,客人簽之前我都請他帶回去慢慢看。做這行靠的是口碑,條件寫清楚,後面才不會吵。
想問有沒有動物醫院的同行。飼主最怕麻醉風險,還有費用會不會越加越多。這種話櫃台口頭講得出口,寫在網站上我自己都覺得像在嚇人,不寫又像在躲。大家都怎麼拿捏?我家的柴去洗牙那天,我自己也是問了好幾遍。
我們診間麻醉的風險是醫師當面跟飼主講,護理師負責把術前檢查有哪幾項解釋一遍,講完再簽同意書。網站上我們只放一句有做術前檢查,沒敢寫更多,怕寫多了反而讓人更緊張。
我幫店家顧官網,這陣子開會多看一件事,就是AI講到他們的時候是什麼口氣。老闆看完第一句常常是,這是在講我喔?
淡季才有空慢慢試。旺季我一個人顧櫃台顧後台,連上網查東西的力氣都沒有。昨天把民宿名字丟給chatgpt,推薦跟缺點各問一次。缺點那次它列了交通不方便、冬天風大、隔音普通。前兩個是整個島的事,隔音是上個月有位住客提過,我自己沒當一回事。另外問了取消訂房怎麼處理,它只叫我去跟民宿確認,我就是民宿啊。
我現在休息中,錢要省著花,要花大錢之前都先問ChatGPT缺點。問推薦的話每一家都超棒,跟看廣告差不多。缺點講完我還是會去翻Google地圖上一顆星的留言,兩邊對一對才算數哈哈
櫃台每天被問的,真的不是器材。搬家了怎麼辦、受傷能不能停卡,還有可不可以轉給朋友。最近辦年約的變多,同一題一天要講十幾次,對啊,還要每次都講得像第一次講。
每次都要講得像第一次,聽了都累,先喝口水。我們瑜伽教室也是,學員問停卡跟期限的,比問老師是誰還多。轉讓我們請學員自己找朋友接,雙方講好了再來登記,這樣比較不會有爭執。
笑死ai就沒有你資料齁