Le aziende possono fare affidamento sui risultati di uno o due studi scientifici per progettare un nuovo processo industriale o lanciare un nuovo prodotto? In almeno un'area della chimica dei materiali, la risposta potrebbe essere sì, ma solo l'80% delle volte.

La replicabilità dei risultati degli studi scientifici è diventata una delle principali fonti di preoccupazione nella comunità di ricerca, in particolare nelle scienze sociali e nelle scienze biomediche. Ma molti ricercatori nel campo dell'ingegneria e delle scienze dure non hanno sentito lo stesso livello di preoccupazione per la convalida indipendente dei loro risultati.

Un nuovo studio che ha confrontato i risultati riportati in migliaia di articoli pubblicati sulle proprietà dei materiali della struttura metallica organica (MOF) - che sono candidati importanti per l'adsorbimento di anidride carbonica e altre separazioni - suggerisce che il problema della replicabilità dovrebbe essere una preoccupazione per i ricercatori sui materiali, pure.

Uno studio su cinque sui materiali MOF esaminati dai ricercatori del Georgia Institute of Technology è stato giudicato "anomalo, " con risultati ben oltre le barre di errore normalmente utilizzate per valutare i risultati dello studio. Le migliaia di articoli di ricerca hanno prodotto solo nove composti MOF per i quali quattro o più studi indipendenti hanno consentito un confronto appropriato dei risultati.

"A livello fondamentale, Penso che le persone nella chimica dei materiali sentano che le cose sono riproducibili e che possono contare sui risultati di un singolo studio, " ha detto David Sholl, professore e John F. Brock III School Chair presso la Georgia Tech School of Chemical and Biomolecular Engineering. "Ma quello che abbiamo scoperto è che se tiri fuori un esperimento a caso, c'è una possibilità su cinque che i risultati siano completamente sbagliati - non solo leggermente fuori, ma nemmeno vicino."

Se i risultati possono essere applicati più ampiamente ad altre aree della scienza dei materiali attende ulteriori studi, ha detto Sholl. I risultati dello studio, che è stato sostenuto dal Dipartimento dell'Energia degli Stati Uniti, sono stati pubblicati il ​​28 novembre sulla rivista ACS Chimica dei materiali .

Sholl ha scelto i MOF perché sono un'area di interesse per il suo laboratorio - sviluppa modelli per i materiali - e perché il National Institute of Standards and Technology (NIST) e l'Advanced Research Projects Agency-Energy (ARPA-E) avevano già riunito un database che riassume le proprietà dei MOF. I coautori Jongwoo Park e Joshua Howe hanno utilizzato tecniche di meta-analisi per confrontare i risultati del test dell'isoterma di adsorbimento di un singolo componente:quanta CO2 può essere rimossa a temperatura ambiente.

Questa misurazione è semplice e sono disponibili strumenti commerciali per eseguire i test. "Le persone della comunità lo considererebbero un esperimento quasi infallibile, " disse Sholl, che è anche un eminente studioso della Georgia Research Alliance in Energy Sustainability.

I ricercatori hanno considerato i risultati definitivi quando hanno avuto quattro o più studi su un dato MOF in condizioni comparabili.

Le implicazioni per gli errori nella scienza dei materiali possono essere inferiori rispetto ad altri campi di ricerca. Ma le aziende potrebbero utilizzare i risultati di uno o due studi per scegliere un materiale che sembra essere più efficiente, e in altri casi, i ricercatori che non sono in grado di replicare un esperimento possono semplicemente passare a un altro materiale.

"Il risultato netto è come minimo un uso non ottimale delle risorse, " ha detto Sholl. "E qualsiasi rapporto che utilizzi un esperimento per concludere che un materiale è il 15 o il 20 percento migliore di un altro materiale dovrebbe essere visto con grande scetticismo, poiché nella maggior parte dei casi non possiamo essere molto precisi su queste misurazioni."

Perché la variabilità dei risultati? Alcuni MOF possono essere pignoli, assorbendo rapidamente l'umidità che influenzano l'adsorbimento, ad esempio. Gli "outlier" uno su cinque possono essere il risultato della contaminazione dei materiali.

"Uno dei materiali che abbiamo studiato è relativamente semplice da realizzare, ma è instabile in un'atmosfera ambientale, "Sholl ha spiegato. "Esattamente quello che fai tra la realizzazione in laboratorio e il test influenzerà le proprietà che misuri. Questo potrebbe spiegare parte di ciò che abbiamo visto, e se un materiale è così sensibile, sappiamo che sarà un problema nell'uso pratico."

Altri fattori che possono impedire la replica includono dettagli che sono stati inavvertitamente esclusi dalla descrizione dei metodi o che gli scienziati originali non si erano resi conto che erano rilevanti. Potrebbe essere semplice come l'atmosfera precisa in cui viene mantenuto il materiale, o i materiali utilizzati nell'apparato che produce i MOF.

Sholl spera che il documento porti a una maggiore replica degli esperimenti in modo che scienziati e ingegneri possano sapere se i loro risultati sono davvero significativi.

"Come risultato di questo, Penso che il mio gruppo esaminerà tutti i dati riportati in un modo più sfumato, non necessariamente sospettando che sia sbagliato, ma pensando a quanto potrebbero essere affidabili quei dati, " ha detto. "Invece di pensare ai dati come un numero, dobbiamo pensarlo sempre come un numero più un intervallo".

Sholl suggerisce che una maggiore segnalazione di secondi, il terzo o il quarto tentativo di replicare un esperimento aiuterebbe ad aumentare la fiducia dei dati sulle proprietà dei materiali MOF. Il sistema di pubblicazione scientifica attualmente non fornisce molti incentivi per la convalida dei rapporti, anche se Sholl spera che cambierà.

Ritiene inoltre che la questione debba essere discussa all'interno di tutte le parti della comunità scientifica, anche se ammette che può portare a conversazioni "scomode".

"Abbiamo presentato questo studio alcune volte a conferenze, e le persone possono mettersi piuttosto sulla difensiva al riguardo, " ha detto Sholl. "Tutti nel campo conoscono tutti gli altri, quindi è sempre più facile non sollevare questo problema".

E, Certo, Sholl vorrebbe vedere altri replicare il lavoro svolto da lui e dal suo team di ricerca. "Sarà interessante vedere se questo numero uno su cinque reggerà per altri tipi di esperimenti e materiali, " ha aggiunto. "Ci sono sicuramente altre aree della chimica dei materiali in cui questo tipo di confronto potrebbe essere fatto".