3分鐘研究室

首頁 / 行銷

送挽留禮物,客人反而走更多?AI 精準投放別找最可能走的人

2018 年刊在《行銷研究期刊》的論文,用電信公司和會員組織兩個實地實驗發現:挽留活動照「最可能走」挑人,效果可能很差,甚至反效果;照「會因為你做了什麼才留下」挑,同樣挑四成客人,被挑中者的流失率估計多降 4.1 和 8.7 個百分點。

送挽留禮物,客人反而走更多?AI 精準投放別找最可能走的人 影片縮圖
在 YouTube「3分鐘研究室」看影片約三分鐘講完這篇論文,開新頁到 YouTube

AI 挑出最可能走的客人,寄挽留禮物,聽起來很合理。一篇研究回頭分析一家會員組織的實驗資料:如果照「最可能走」挑四成會員送禮,被挑中這群人的流失率反而會升 4.4 個百分點;改挑「會因為禮物才留下」的人,這群人的流失率會降 4.3 個百分點。

若照「最可能走」挑四成會員送禮,被挑中者的流失率 +4.4 個百分點;改挑「送了才會留」的人 −4.3
若照「最可能走」挑四成會員送禮,被挑中者的流失率 +4.4 個百分點;改挑「送了才會留」的人 −4.3

論文怎麼做

2018 年刊在《行銷研究期刊》(Journal of Marketing Research)的論文,作者時任哥倫比亞大學商學院,用兩個實地實驗:

  • 中東一家電信公司:公司挑出 12,137 位、最近一週沒打過電話的預付卡用戶,隨機 68% 收到簡訊:三天內儲值就多送額度;其他人什麼都沒收到,當作對照組,用來看不做的話會怎樣。
  • 北美一家會員組織:會員到期前一個月會收到續約信,隨機一半的人,信裡多附一份感謝禮。研究拿到其中 2,100 位會員的資料。

兩個實驗都看一個月後客人有沒有走。接著用機器學習替每個客人算兩個分數:

  • 風險:什麼都不做,他會走的機率。傳統的流失預測算的就是這個。
  • 增量(incrementality):你做了之後,他走的機率會降多少,也就是因為你才留下來的那一部分。

模型用一半資料學,再拿它沒看過的另一半,模擬照風險挑和照增量挑,哪個留下的人多;資料隨機切 1,000 次取平均。

結果

電信公司:最可能走的人,送了也留不太住。 風險最高的那一成,沒收到簡訊的流失率 95.3%,收到的 93.7%,差不到 2 個百分點。增量最高的那一成,流失率從 57.0% 降到 47.8%,差了 9.2 個百分點;而且他們本來走的機率,還不是最高的。

會員組織:對最可能走的人,禮物反而推人走。 風險最高的那一成,收到禮物後流失率從 79.4% 升到 82.7%。風險最高的是第一年的新會員,偏偏他們對禮物的反應最差,收到禮物,反而更多人退會。

會員組織最可能走的一成,收到禮物後流失率 79.4% 升到 82.7%
會員組織最可能走的一成,收到禮物後流失率 79.4% 升到 82.7%

同樣挑四成來比。 電信公司如果照風險挑,被挑中那群人的流失率會降 1.9 個百分點;照增量挑,會降 6.0 個百分點。會員組織照風險挑反而會升 4.4,照增量挑會降 4.3,一來一回差 8.7 個百分點。這是用實驗資料模擬兩種挑法的結果,數字是被挑中那群人的流失率,不是整家公司的。

電信公司:同樣挑四成,照風險挑流失率降 1.9 個百分點,照增量挑降 6.0(用實驗資料模擬)
電信公司:同樣挑四成,照風險挑流失率降 1.9 個百分點,照增量挑降 6.0(用實驗資料模擬)

為什麼差這麼多? 因為最可能走的人,跟會被你留住的人,幾乎不是同一群。電信公司風險最高的一成裡,才 16% 也在增量最高的一成;會員組織更少,才 6%,比隨便亂抽的一成還低。

風險最高一成,也落在增量最高一成的比例:電信 16%、會員組織 6%(亂抽約一成)
風險最高一成,也落在增量最高一成的比例:電信 16%、會員組織 6%(亂抽約一成)

以電信公司來說,很久沒儲值的人很可能會走,可是儲值加送對他們沒有特別有效;上網用量低的人,風險高,可是模型估計送了反而可能更容易走。論文的說法是:挽留的錢有一半是浪費的,而這個方法能找出是哪一半。

明天可以怎麼試

下面三件事是從研究推想的,不是論文直接測的:

  1. 挽留活動先拿一小群人隨機測。 例如續約前一個月,一半寄折扣碼、一半不寄。
  2. 照年資、使用次數分組,看哪一組送和不送差最多。 下次先送那一組,不是先送最可能走的人。
  3. 送了反而更容易走的人,別送。 有些人本來沒打算走,你一提醒,可能反而想起來要退。哪些人會被打動,要看你送的是什麼,換一種優惠就要重測。

用三個問題來看

  1. 效果有多大?是真的多留住人,還是他們本來就不會走? 研究拿同一群人裡有送和沒送的流失率相減,本來就不會走的那部分會抵掉;同樣挑四成,照增量挑,被挑中者的流失率估計比照風險挑多降 4.1(電信)和 8.7(會員組織)個百分點。
  2. 在台灣、在你的產業也成立嗎? 研究是中東的電信公司和北美的會員組織,各測一個活動、看一個月;會員組織的樣本是 2,100 人,切細之後每組人不多。論文比的是留下幾個人,沒算優惠成本;作者也說,流失率很低的產業,好處可能比較小。
  3. 明天可以怎麼試? 先拿一小群人隨機測,看誰送了才會留,送了反而走的就別送。

別問誰最可能走,要問誰會因為你做了什麼而留下。

限制

  • 兩家合作公司都未具名;每家各測一個挽留活動,觀察期一個月。
  • 「挑四成」的比較是用實驗資料模擬,不是公司真的照兩種方法各做一次。
  • 研究沒有把競爭對手的動作放進模型;哪些人會被打動,會隨送的東西不同而改變。