来自西北大学和Facebook的研究人员在3月份发表了INFORMS期刊“营销科学”的新研究，该研究揭示了在线广告测量的常用方法是否与大规模随机实验的“黄金标准”一样可靠和准确。

这项研究将发表在3月份的INFORMS期刊营销科学上，题为“广告测量方法的比较：来自Facebook的大型实验的证据”，由西北大学的Brett Gordon撰写;西北大学和国家经济研究局的Florian Zetttelmeyer; Facebook的Neha Bhargava和Dan Chapsky。

“我们的研究结果表明，依赖于广告商通常可获得的数据的常用观察方法往往无法准确衡量广告的真实效果，”Brett Gordon说。

观察方法是那些包含大量统计模型的方法，这些统计模型依赖于“原样”的数据，而无需通过随机实验进行明确操作。

Zettelmeyer补充说：“我们发现，随机对照试验和广告商经常用来评估其活动的观察方法所获得的广告效果存在显着差异。” “一般来说，目前和更常见的方法高估了我们在随机测试中发现的广告效果。虽然在某些情况下，他们显着低估了有效性。”

衡量广告的有效性仍然是许多公司的一个重要问题。一个关键问题是，广告活动是否产生了增量结果：更多消费者购买是因为他们看到了广告，还是许多消费者甚至在没有广告的情况下购买了广告？获得增量结果的准确度量（“转换”）有助于广告客户计算广告系列的投资回报率（ROI）。

“带有广告的数字平台，如Facebook，已经创建了综合评估广告效果的方法，使用链接广告曝光，点击，页面访问，在线购买甚至离线购买的精细数据，”戈登说。 “尽管如此，即使有了这些数据，衡量广告的因果效应也需要适当的实验平台。”

该研究的作者使用了来自Facebook的15个美国广告实验的数据，其中包括5亿用户实验观察和16亿次广告印象。

Facebook的“转换提升”实验平台为广告商提供了运行随机对照实验的能力，以衡量广告活动对消费者结果的因果影响。

这些实验会将用户随机分配给从未接触过广告的对照组，以及有资格查看广告的测试组。比较组之间的结果提供了广告的因果效应，因为随机化确保两组平均等效，除了测试组中的广告曝光。每个广告活动的实验结果都作为评估常见观察方法的基准。

观察方法将暴露于广告的用户与未暴露的用户之间的结果进行比较。这两类用户往往在很多方面有系统地不同，例如年龄和性别。这些特征差异可以是可观察的，因为广告商（或其广告平台）通常具有关于这些特征和其他特征的访问数据，例如，除了知道在线用户的性别和年龄之外，还可以观察设备的类型。正在使用，用户的位置，自用户上次访问以来已经过了多长时间等等。然而，棘手的部分是暴露的和未暴露的群体也可能以非常难以衡量的方式不同，例如潜在的用户对品牌的亲和力。要说广告“引起”效应需要研究能够解释两组之间观察到的和未观察到的差异。观察方法使用观察到的用户特征的数据，以试图调整可观察和不可观察的差异。

Zettelmeyer表示，“我们开始确定，目前普遍认为，使用全面的个人级数据的当前观察方法是否足够'，足以进行广告测量”。 “我们发现，即使是相当全面的数据也证明不足以产生对广告效果的可靠估计。”

“原则上，我们认为，只要有可能，使用大规模随机对照试验评估广告效果应该是广告商的首选方法。”