La eficacia de la publicidad online está demostrada por todas aquellas empresas que apuestan por ella en sus estrategia de marketing, ante la evidencia de que vivimos en un entorno digital donde los posibles clientes se desenvuelven a diario. Quien analice sus propios datos de tráfico web, ventas en tiendas en línea o retorno de la inversión con activación de su retail físico sabrá hasta qué punto logra rendimientos reales en sus campañas, pero quedaba por demostrar la fiabilidad de los mismos sistemas de medición. Investigadores de la Northwestern University y Facebook publicaron en marzo una nueva investigación en la revista INFORMS Marketing Science que arroja luz sobre si los enfoques comunes para la medición de publicidad en línea son tan confiables y precisos como el «estándar de oro» de los experimentos aleatorios a gran escala. El estudio se titula «Una comparación de enfoques para la medición de la publicidad: Evidencia de Big Field Experiments en Facebook» (A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook) y está escrito por Brett Gordon, de la Northwestern University; Florian Zetttelmeyer de la Northwestern University y la Oficina Nacional de Investigación Económica; y Neha Bhargava y Dan Chapsky de Facebook. «Nuestros hallazgos sugieren que los enfoques de observación de uso común que se basan en datos generalmente disponibles para los anunciantes a menudo no miden con precisión el efecto real de la publicidad», dijo Brett Gordon. Los enfoques observacionales son aquellos que abarcan una amplia clase de modelos estadísticos que se basan en los datos «tal como son», generados sin manipulación explícita a través de un experimento aleatorio. «Encontramos una diferencia significativa en la efectividad de los anuncios obtenida de los ensayos de control aleatorios y los métodos de observación que los anunciantes utilizan con frecuencia para evaluar sus campañas», agregó Zettelmeyer. “En general, los métodos actuales y más comunes sobreestiman la efectividad de los anuncios en relación con lo que encontramos en nuestras pruebas aleatorias. Aunque en algunos casos, subestiman significativamente la efectividad «. Una pregunta clave es si una campaña publicitaria produjo resultados incrementales: ¿compraron más consumidores porque vieron un anuncio, o muchos de esos consumidores lo habrían comprado incluso en ausencia del anuncio? La obtención de una medida precisa de los resultados incrementales («conversiones») ayuda a un anunciante a calcular el retorno de la inversión (ROI) de la campaña. «Las plataformas digitales que transmiten publicidad, como Facebook, han creado medios integrales para evaluar la efectividad de los anuncios, utilizando datos granulares que vinculan las exposiciones de los anuncios, los clics, las visitas a las páginas, las compras en línea e incluso las compras fuera de línea», dijo Gordon. «Aun así, incluso con estos datos, medir el efecto causal de la publicidad requiere la plataforma de experimentación adecuada». Los autores del estudio utilizaron datos de 15 experimentos de publicidad de EE. UU. En Facebook, que comprenden 500 millones de observaciones de experimentos de usuarios y 1.600 millones de impresiones de anuncios.La plataforma de experimentación de «conversión de conversión» de Facebook ofrece a los anunciantes la capacidad de realizar experimentos controlados aleatorios para medir el efecto causal de una campaña publicitaria en los resultados de los consumidores. Estos experimentos asignan al azar a los usuarios a un grupo de control, que nunca están expuestos al anuncio, y a un grupo de prueba, que son elegibles para ver el anuncio. La comparación de los resultados entre los grupos proporciona el efecto causal del anuncio porque la aleatorización garantiza que los dos grupos sean, en promedio, equivalentes, excepto las exposiciones de publicidad en el grupo de prueba. Los resultados experimentales de cada campaña publicitaria sirvieron como una línea de base con la cual evaluar métodos comunes de observación. Los métodos de observación comparan los resultados entre los usuarios que fueron expuestos al anuncio y los usuarios que no estaban expuestos. Estos dos grupos de usuarios tienden a diferir sistemáticamente de muchas maneras, como la edad y el género. Estas diferencias en las características pueden ser observables porque el anunciante (o su plataforma de publicidad) a menudo tiene acceso a estas características y otras, por ejemplo, además de saber el género y la edad de un usuario en línea, es posible observar el tipo de dispositivo. en uso, la ubicación del usuario, cuánto tiempo ha pasado desde la última vez que lo visitó, etc. Sin embargo, la parte difícil es que los grupos expuestos y no expuestos también pueden diferir en formas que son muy difíciles de medir, como los usuarios subyacentes Afinidad por la marca. Decir que el anuncio “causó” un efecto requiere que la investigación pueda explicar las diferencias observadas y no observadas entre los dos grupos. Los métodos de observación utilizan datos sobre las características de los usuarios que se observan para intentar ajustar las diferencias observables y no observables. «Nos propusimos determinar si, como se cree comúnmente, los métodos de observación actuales que usan datos completos a nivel individual son ‘lo suficientemente buenos’ para la medición de anuncios», dijo Zettelmeyer. «Lo que descubrimos fue que incluso datos bastante completos resultan inadecuados para producir estimaciones confiables de los efectos publicitarios». «En principio, creemos que el uso de ensayos controlados aleatorios a gran escala para evaluar la efectividad de la publicidad debería ser el método preferido para los anunciantes siempre que sea posible».