I dati di monitoraggio della qualità dell'aria ambiente costituiscono la fonte più importante per la sensibilizzazione del pubblico sulla qualità dell'aria, e sono ampiamente utilizzati in molti campi di ricerca, come il miglioramento delle previsioni sulla qualità dell'aria e l'analisi degli episodi di foschia. Però, ci sono valori anomali tra tali dati di monitoraggio, a causa di malfunzionamenti dello strumento, l'influenza di ambienti difficili, e la limitazione dei metodi di misurazione.

In pratica, l'ispezione manuale viene spesso applicata per identificare questi valori anomali. Però, man mano che la quantità di dati cresce rapidamente, questo metodo diventa sempre più ingombrante.

Per affrontare il problema, Dr. Wu Huangjian e Professore Associato Tang Xiao dell'Istituto di Fisica dell'Atmosfera, Accademia cinese delle scienze, proporre un metodo di rilevamento degli outlier completamente automatico basato sulla probabilità dei residui. Il metodo adotta metodi di regressione multipla, ei residui di regressione vengono utilizzati per discriminare gli outlier. Sulla base delle deviazioni standard dei residui, le probabilità dei residui possono essere calcolate, e le osservazioni con probabilità ridotte vengono contrassegnate come valori anomali e rimosse da un programma per computer. I loro risultati sono pubblicati in Progressi nelle scienze dell'atmosfera .

"Introducendo le probabilità dei residui, più regole possono essere utilizzate per identificare valori anomali sullo stesso framework, " dice il dottor Wu. "Per esempio, assumendo che i residui della regressione spaziale e della regressione temporale obbediscano a una distribuzione normale bivariata, le consistenze spaziali e temporali possono essere valutate simultaneamente per una migliore identificazione dei valori anomali".

Il metodo può segnalare dati potenzialmente errati nelle osservazioni orarie da 1436 stazioni del China National Environmental Monitoring Center (CNEMC) entro un minuto. Infatti, è stato utilizzato nel sistema di previsione della qualità dell'aria del CNEMC, e sarà integrato nel sistema di gestione dei dati. La speranza è che i valori anomali nei dati sulla qualità dell'aria in tempo reale del sistema vengano rimossi nel prossimo futuro.

Il metodo è pubblicato su Progressi nelle scienze atmosferiche .