廣告看起來很賺？eBay 把廣告關掉實測，投資報酬率 −63%

不做實驗、直接拿廣告花費去對銷售算，eBay 搜尋廣告的投資報酬率超過 4,000%。eBay 把廣告關掉實測，每花 1 塊錢大約換回 0.37 元營收。差這麼多，問題出在哪？

論文怎麼做

2015 年刊在經濟學期刊《Econometrica》的研究，由三位 eBay 研究室的學者完成（其中兩位也任教於芝加哥大學和柏克萊加州大學），用 eBay 內部資料做了一系列實地實驗，主要是這兩個（品牌字的結果，後來在 Google 和德國重做也一樣）：

• 實驗一（2012 年 3 月）：停掉微軟 MSN 和 Yahoo 上的品牌關鍵字廣告，也就是有人直接搜尋「eBay」時跳出來的那則廣告，再拿 Google 當對照。
• 實驗二：在美國隨機挑約三成的地區，停掉所有一般關鍵字廣告（像「手機」「二手吉他」這種字）60 天，再跟還在投放的地區比較。

結果

品牌字廣告，是在攔截本來就要來的人。 關掉之後，MSN 搜尋帶進 eBay 的總流量只少了大約 0.5%，也就是 99.5% 照樣進來；原本點廣告的人，幾乎都改點下面免費的搜尋結果。

一般關鍵字廣告，整體銷售幾乎沒變。 整套一般關鍵字廣告讓銷售多 0.66%，95% 信賴區間從 −0.42% 到 1.74%，統計上看不出跟零有差別。

為什麼看起來很賺？ 因為會點廣告的人，很多本來就會買。不加任何控制、直接拿花費對銷售算，投資報酬率超過 4,000%；用實驗算，約負 63%，95% 信賴區間從 −124% 到 −3%。這裡的投資報酬率是用營收算的，還沒扣成本。

廣告不是完全沒用。 對新註冊的客人、前一年買得少的人，以及一年以上沒買的人，廣告看得出效果；可是大部分廣告費，花在本來就會買的常客身上。

這不是 eBay 才有的事。 2019 年刊在《行銷科學》（Marketing Science）的研究，用 Facebook 上 15 個廣告實驗，比較業界常用的估算方法和隨機實驗：常用方法比的是看過和沒看過廣告的人，但這兩群人本來就不一樣，通常會高估廣告效果；15 個實驗裡有一半，估出來的購買提升差到三倍。

明天可以怎麼試

下面三件事是從研究推想的，不是論文直接測的：

1. 隨機留一組看不到廣告的對照組。 兩邊的差距，才是廣告真正多帶來的生意，也就是增量。
2. 品牌關鍵字先停一小段時間測。 停之前先查有沒有對手在買你的品牌字；有的話，停掉等於把第一格讓給他。
3. 把預算從常客，移到新客和很久沒回來的人。

用三個問題來看

1. 效果有多大？是真的多賺，還是本來就會買？ 品牌字廣告關掉，MSN 搜尋進來的總流量保住 99.5%；一般關鍵字廣告讓銷售多 0.66%，看不出差別；算下來投資報酬率約 −63%。
2. 在台灣、在你的產業也成立嗎？ 研究對象是 eBay 這種大家都知道的大品牌，時間是 2012 年的美國。小品牌、新品牌，客人本來不知道你，廣告的告知效果可能大得多；研究看的也是短期，長期的品牌效果沒算進去。
3. 明天可以怎麼試？ 留對照組、品牌字先停測、預算移向新客。可以先從一小區、一小段時間試起，答案是你自己的數字。

沒有隨機分組，算到的是誰看了或點了廣告，不是誰因為廣告才買。

限制

• 兩篇都是平台內部資料的研究：第一篇三位作者都屬 eBay 研究室（其中兩位同時任教芝加哥大學、柏克萊加州大學），第二篇作者含 Facebook 員工。
• eBay 是知名大品牌，結果不一定適用於小品牌、新品牌。
• 投資報酬率的營收用 eBay 公開財報推算，廣告支出用 Google 公開的大廣告主花費資料推算（一年約 5,100 萬美元）；算的是營收不是利潤，看的是短期效果。

出處

• Blake, T., Nosko, C., & Tadelis, S. (2015). Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment. Econometrica, 83(1), 155–174. https://doi.org/10.3982/ECTA12423
• Gordon, B. R., Zettelmeyer, F., Bhargava, N., & Chapsky, D. (2019). A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook. Marketing Science, 38(2), 193–225. https://doi.org/10.1287/mksc.2018.1135

本文為研究分享，不構成商業或投資建議。