Le tecniche di apprendimento automatico utilizzate dagli scienziati per prevedere i risultati di grandi set di dati potrebbero non essere sufficienti quando si tratta di proiettare i risultati della vita delle persone, secondo uno studio di massa condotto da ricercatori della Princeton University in collaborazione con ricercatori di molte istituzioni, compresa la Virginia Tech.

Questa collaborazione di massa, chiamato la Sfida delle Famiglie Fragili, rappresenta una coorte di scienziati che costruiscono modelli statistici e di apprendimento automatico per prevedere e misurare i risultati della vita dei bambini, genitori, e famiglie negli Stati Uniti.

Pubblicato da 112 coautori nel Atti dell'Accademia Nazionale delle Scienze , i risultati suggeriscono che i sociologi e gli scienziati dei dati dovrebbero usare cautela quando usano la modellazione predittiva, soprattutto nel sistema di giustizia penale e nei programmi sociali.

Anche dopo aver utilizzato modelli all'avanguardia e un set di dati di alta qualità contenente 13, 000 punti dati per più di 4, 000 famiglie, i migliori modelli predittivi di intelligenza artificiale non erano molto accurati.

Brian J. Goode, un ricercatore del Fralin Life Sciences Institute della Virginia Tech, era tra i dati e gli scienziati sociali che partecipavano alla Fragile Families Challenge.

"È uno sforzo cercare di catturare le complessità e le complessità che compongono il tessuto di una vita umana in dati e modelli. Ma, è obbligatorio fare il passo successivo e contestualizzare i modelli in termini di come verranno applicati al fine di ragionare meglio sulle incertezze attese e sui limiti di una previsione. È un problema molto difficile da affrontare, e penso che la Fragile Families Challenge dimostri che abbiamo bisogno di più sostegno alla ricerca in questo settore, soprattutto perché l'apprendimento automatico ha un impatto maggiore sulla nostra vita quotidiana, " ha affermato che la modellazione di Goode.Goode è stata condotta attraverso il Discovery Analytics Center presso Virginia Tech. Lì, ha collaborato con il direttore del Discovery Analytics Center e il professore di ingegneria Thomas L. Phillips, Naren Ramakrishnan, e Debanjan Datta, un dottorato di ricerca studente presso il Dipartimento di Informatica della Facoltà di Ingegneria, che hanno contribuito alla raccolta e all'analisi dei dati.

Il team della Virginia Tech ha anche pubblicato una ricerca in un numero speciale di Socius, una nuova rivista ad accesso aperto dell'American Sociological Association. Al fine di supportare ulteriori ricerche in questo settore, tutti gli invii alla Sfida:codice, predizioni e spiegazioni narrative sono disponibili pubblicamente.

"Lo studio ci mostra anche che abbiamo tanto da imparare, e collaborazioni di massa come questa sono estremamente importanti per la comunità di ricerca, ", ha affermato l'autore principale dello studio PNAS Matt Salganik, professore di sociologia a Princeton e direttore ad interim del Center for Information Technology Policy, con sede presso la Woodrow Wilson School of Public and International Affairs di Princeton.

Il progetto è stato ispirato da Wikipedia, una delle prime collaborazioni di massa al mondo, che è stato creato nel 2001 come enciclopedia condivisa. Salganik ha riflettuto su quali altri problemi scientifici potrebbero essere risolti attraverso una nuova forma di collaborazione, ed è allora che ha unito le forze con Sara McLanahan, il William S. Tod Professor di Sociologia e Affari Pubblici a Princeton, così come gli studenti laureati di Princeton Ian Lundberg e Alex Kindel, entrambi al Dipartimento di Sociologia.

McLanahan è il ricercatore principale del Fragile Families and Child Wellbeing Study con sede a Princeton e alla Columbia University, che ha studiato una coorte di circa 5, 000 bambini nati nelle grandi città americane tra il 1998 e il 2000, con un sovracampionamento di bambini nati da genitori non sposati. Lo studio longitudinale è stato progettato per comprendere la vita dei bambini nati in famiglie non sposate.

Attraverso sondaggi raccolti in sei ondate (quando il bambino è nato e poi quando il bambino ha raggiunto l'età di 1 anno, 3, 5, 9, e 15), lo studio ha catturato milioni di punti dati sui bambini e le loro famiglie. Un'altra ondata verrà catturata all'età di 22 anni.

Nel momento in cui i ricercatori hanno progettato la sfida, i dati dell'età di 15 anni (che i ricercatori chiamano nell'articolo i "dati hold-out) non erano ancora stati resi disponibili al pubblico. Ciò ha creato l'opportunità di chiedere ad altri scienziati di prevedere i risultati della vita delle persone nello studio attraverso una collaborazione di massa.

I co-organizzatori hanno ricevuto 457 candidature da 68 istituzioni di tutto il mondo, anche da diverse squadre con sede a Princeton. Utilizzando i dati delle Famiglie Fragili, ai partecipanti è stato chiesto di prevedere uno o più dei sei risultati di vita all'età di 15 anni. Questi includevano la media dei voti dei bambini (GPA); grinta infantile; sfratto domestico; disagio materiale domestico; licenziamento del caregiver primario; e la partecipazione del caregiver primario alla formazione professionale.

La sfida era basata sul metodo del compito comune, un disegno di ricerca utilizzato frequentemente in informatica ma non nelle scienze sociali. Questo metodo rilascia alcuni ma non tutti i dati, consentendo alle persone di utilizzare qualsiasi tecnica vogliano per determinare i risultati. L'obiettivo è quello di prevedere con precisione i dati di hold-out, non importa quanto fantasiosa sia una tecnica necessaria per arrivarci.

Il team sta attualmente richiedendo sovvenzioni per continuare la ricerca in questo settore.

La carta, "Misurare la prevedibilità degli esiti della vita con una collaborazione scientifica di massa, " è stato pubblicato il 30 marzo da PNAS .