I ricercatori della Northwestern University e di Facebook a marzo hanno pubblicato una nuova ricerca sulla rivista INFORMS Scienze del marketing che fa luce sul fatto che gli approcci comuni per la misurazione della pubblicità online siano affidabili e accurati quanto il "gold standard" della pubblicità su larga scala, esperimenti randomizzati.

Lo studio in uscita sul numero di marzo della rivista INFORMS Scienze del marketing è intitolato "Un confronto tra gli approcci alla misurazione della pubblicità:prove da grandi esperimenti sul campo su Facebook, " ed è scritto da Brett Gordon della Northwestern University; Florian Zetttelmeyer della Northwestern University e del National Bureau of Economic Research; e Neha Bhargava e Dan Chapsky di Facebook.

"I nostri risultati suggeriscono che gli approcci osservativi comunemente usati che si basano su dati solitamente disponibili per gli inserzionisti spesso non riescono a misurare con precisione il vero effetto della pubblicità, " ha detto Brett Gordon.

Gli approcci osservazionali sono quelli che comprendono un'ampia classe di modelli statistici che si basano sui dati "così come sono, " generato senza manipolazione esplicita attraverso un esperimento randomizzato.

"Abbiamo riscontrato una differenza significativa nell'efficacia degli annunci ottenuti da studi di controllo randomizzati e da quei metodi di osservazione che vengono frequentemente utilizzati dagli inserzionisti per valutare le loro campagne, " ha aggiunto Zettelmeyer. "In genere, i metodi attuali e più comuni sovrastimano l'efficacia degli annunci rispetto a ciò che abbiamo trovato nei nostri test randomizzati. Sebbene in alcuni casi, sottostimano significativamente l'efficacia."

Misurare l'efficacia della pubblicità rimane un problema importante per molte aziende. Una domanda chiave è se una campagna pubblicitaria ha prodotto risultati incrementali:più consumatori hanno acquistato perché hanno visto un annuncio, o molti di quei consumatori avrebbero acquistato anche in assenza dell'annuncio? Ottenere una misura accurata dei risultati incrementali ("conversioni") aiuta un inserzionista a calcolare il ritorno sull'investimento (ROI) della campagna.

"Piattaforme digitali che veicolano pubblicità, come Facebook, hanno creato mezzi completi per valutare l'efficacia degli annunci, utilizzando dati granulari che collegano le esposizioni degli annunci, clic, visita alla pagina, acquisti online e anche acquisti offline, " disse Gordon. "Eppure, anche con questi dati, misurare l'effetto causale della pubblicità richiede la piattaforma di sperimentazione adeguata."

Gli autori dello studio hanno utilizzato i dati di 15 esperimenti pubblicitari statunitensi su Facebook comprendenti 500 milioni di osservazioni di esperimenti utente e 1,6 miliardi di impressioni pubblicitarie.

La piattaforma di sperimentazione "conversion lift" di Facebook offre agli inserzionisti la possibilità di eseguire esperimenti controllati casualmente per misurare l'effetto causale di una campagna pubblicitaria sui risultati dei consumatori.

Questi esperimenti assegnano casualmente gli utenti a un gruppo di controllo, che non sono mai esposti all'annuncio, e ad un gruppo di prova, che sono idonei a vedere l'annuncio. Il confronto dei risultati tra i gruppi fornisce l'effetto causale dell'annuncio perché la randomizzazione garantisce che i due gruppi siano, in media, equivalenti ad eccezione delle esposizioni pubblicitarie nel gruppo di prova. I risultati sperimentali di ciascuna campagna pubblicitaria sono serviti come base con cui valutare metodi di osservazione comuni.

I metodi di osservazione confrontano i risultati tra gli utenti che sono stati esposti all'annuncio e gli utenti che non erano esposti. Questi due gruppi di utenti tendono a differire sistematicamente in molti modi, come età e sesso. Queste differenze nelle caratteristiche possono essere osservabili perché l'inserzionista (o la sua piattaforma pubblicitaria) ha spesso accesso a dati su queste caratteristiche e su altre, per esempio., oltre a conoscere il sesso e l'età di un utente online, è possibile osservare il tipo di dispositivo utilizzato, la posizione dell'utente, quanto tempo è passato dall'ultima visita dell'utente, ecc. Tuttavia, la parte difficile è che i gruppi esposti e non esposti possono anche differire in modi molto difficili da misurare, come gli utenti alla base dell'affinità per il marchio. Dire che l'annuncio "ha causato" un effetto richiede che la ricerca sia in grado di tenere conto delle differenze osservate e non osservate tra i due gruppi. I metodi di osservazione utilizzano dati sulle caratteristiche degli utenti che vengono osservati nel tentativo di adeguarsi alle differenze osservabili e non osservabili.

"Abbiamo deciso di determinare se, come comunemente si crede, gli attuali metodi di osservazione che utilizzano dati completi a livello individuale sono "abbastanza buoni" per la misurazione degli annunci, " ha detto Zettelmeyer. "Quello che abbiamo scoperto è che anche i dati abbastanza completi si rivelano inadeguati a fornire stime affidabili degli effetti pubblicitari".

"In linea di principio, riteniamo che l'utilizzo di studi randomizzati e controllati su larga scala per valutare l'efficacia della pubblicità dovrebbe essere il metodo preferito per gli inserzionisti quando possibile".