L'intelligenza artificiale di livello consumer si sta facendo strada nella vita quotidiana delle persone grazie alla sua capacità di generare testo e immagini e automatizzare le attività. Ma gli astronomi hanno bisogno di un’intelligenza artificiale molto più potente e specializzata. L'enorme quantità di dati osservativi generati dai moderni telescopi e osservatori sfida gli sforzi degli astronomi di estrarne tutto il significato.
Un team di scienziati sta sviluppando una nuova intelligenza artificiale per i dati astronomici chiamata AstroPT. Lo hanno presentato in un nuovo articolo intitolato “AstroPT:Scaling Large Observation Models for Astronomy”. Il documento è disponibile su arXiv server di prestampa e l'autore principale è Michael J. Smith, scienziato dei dati e astronomo di Aspia Space.
Gli astronomi si trovano ad affrontare un crescente diluvio di dati, che si espanderà enormemente quando l’Osservatorio Vera Rubin (VRO) sarà online nel 2025. Il VRO ha la fotocamera più grande del mondo e ciascuna delle sue immagini potrebbe riempire 1.500 televisori a grande schermo. Durante la sua missione decennale, il VRO genererà circa 0,5 exabyte di dati, ovvero circa 50.000 volte più dati di quelli contenuti nella Biblioteca del Congresso degli Stati Uniti.
Anche altri telescopi dotati di enormi specchi si stanno avvicinando alla prima luce. Il Giant Magellan Telescope, il Thirty Meter Telescope e l'European Extremely Large Telescope combinati genereranno una quantità enorme di dati.
Avere dati che non possono essere elaborati equivale a non averli affatto. È fondamentalmente inerte e non ha significato finché non viene elaborato in qualche modo. "Quando hai troppi dati e non hai la tecnologia per elaborarli, è come non avere dati", ha affermato Cecilia Garraffo, astrofisica computazionale presso l'Harvard-Smithsonian Center for Astrofisica.
È qui che entra in gioco AstroPT.
AstroPT sta per Astro Pretrained Transformer, dove un trasformatore è un particolare tipo di IA. I trasformatori possono modificare o trasformare una sequenza di ingresso in una sequenza di uscita. L’intelligenza artificiale deve essere addestrata e AstroPT è stato addestrato su 8,6 milioni di immagini da 512 x 512 pixel dal DESI Legacy Survey Data Release 8. DESI è lo strumento spettroscopico dell’energia oscura. DESI studia l'effetto dell'energia oscura catturando gli spettri ottici di decine di milioni di galassie e quasar.
AstroPT e IA simili si occupano di "token". I token sono elementi visivi in un'immagine più grande che contengono significato. Suddividendo le immagini in token, un'intelligenza artificiale può comprendere il significato più ampio di un'immagine. AstroPT può trasformare singoli token in output coerenti.
AstroPT è stato addestrato su token visivi. L'idea è insegnare all'intelligenza artificiale a prevedere il token successivo. Più è stato addestrato a farlo, migliori saranno le sue prestazioni.
"Abbiamo dimostrato che semplici modelli autoregressivi generativi possono apprendere informazioni scientificamente utili se pre-addestrati sul compito surrogato di prevedere la successiva patch di 16 × 16 pixel in una sequenza di patch di immagini di galassie", scrivono gli autori. In questo schema, ogni patch di immagine è un token.
Uno degli ostacoli all’addestramento dell’intelligenza artificiale come AstroPT riguarda ciò che gli scienziati dell’intelligenza artificiale chiamano la “crisi dei token”. Per essere efficace, l’intelligenza artificiale deve essere addestrata su un gran numero di token di qualità. In un articolo del 2023, un team separato di ricercatori ha spiegato che la mancanza di token può limitare l’efficacia di alcune IA, come i LLM o i modelli linguistici di grandi dimensioni. "I LLM all'avanguardia richiedono grandi quantità di dati di testo su scala Internet per la pre-formazione", hanno scritto. "Sfortunatamente,... il tasso di crescita dei dati di testo di alta qualità su Internet è molto più lento del tasso di crescita dei dati richiesti dai LLM."
AstroPT affronta lo stesso problema:la carenza di token di qualità su cui allenarsi. Come altre IA, utilizza LOM o modelli di osservazione di grandi dimensioni. Il team afferma che i risultati ottenuti finora suggeriscono che AstroPT può risolvere la crisi dei token utilizzando i dati delle osservazioni. "Si tratta di un risultato promettente che suggerisce che i dati presi dalle scienze osservative integrerebbero i dati di altri domini se utilizzati per pre-addestrare un singolo LOM multimodale, e quindi indica l'uso dei dati osservativi come una soluzione alla "crisi dei token". '"
Gli sviluppatori di intelligenza artificiale sono ansiosi di trovare soluzioni alla crisi dei token e ad altre sfide dell'intelligenza artificiale.
Senza una migliore intelligenza artificiale, un collo di bottiglia nell’elaborazione dei dati impedirà agli astronomi e agli astrofisici di fare scoperte dalle grandi quantità di dati che presto arriveranno. AstroPT può aiutarti?
Gli autori sperano che ciò sia possibile, ma necessita di molto più sviluppo. Dicono di essere aperti a collaborare con altri per rafforzare AstroPT. Per favorire ciò, hanno seguito il più fedelmente possibile gli "attuali modelli di comunità leader". Lo chiamano "progetto aperto a tutti".
"Abbiamo preso queste decisioni nella convinzione che lo sviluppo collaborativo della comunità apra la strada più rapida verso la realizzazione di un modello di osservazione di grandi dimensioni su scala web open source", scrivono.
"Invitiamo calorosamente i potenziali collaboratori a unirsi a noi", concludono.
Sarà interessante vedere come gli sviluppatori di intelligenza artificiale riusciranno a tenere il passo con la grande quantità di dati astronomici in arrivo.
