Ogni set di dati nell'universo osservabile ha una geometria o una forma fondamentale, ma quella struttura può essere molto complicata. Per semplificare la visualizzazione di set di dati complessi, un team di ricerca di Dartmouth ha creato HyperTools, un pacchetto software open source che sfrutta una suite di tecniche matematiche per ottenere intuizioni su set di dati ad alta dimensionalità attraverso le strutture geometriche sottostanti che riflettono. I risultati sono pubblicati nel Journal of Machine Learning Research .

HyperTools può essere utilizzato per trasformare i dati in forme o animazioni visualizzabili, che può essere utilizzato per:confrontare diversi set di dati, acquisire informazioni sui modelli sottostanti in modo intuitivo, fare generalizzazioni tra set di dati, e sviluppare e testare teorie relative ai Big Data.

"I set di dati con cui ci troviamo di fronte come scienziati moderni possono essere enormemente complessi, spesso riflettendo molte componenti interagenti, " spiega l'autore senior, Jeremy R. Manning, un assistente professore di scienze psicologiche e del cervello e direttore del Contestuale Dynamics Lab a Dartmouth. "Il nostro strumento trasforma dati complessi in forme 3D intuitive che possono essere esaminate e confrontate visivamente. In sostanza, stiamo sfruttando la straordinaria capacità del sistema visivo di trovare modelli nel mondo che ci circonda per trovare modelli anche in dati scientifici complessi".

I ricercatori dimostrano come HyperTools può essere applicato a vari tipi di dati. Nella carta, mostrano visualizzazioni di:attività cerebrale, fotogrammi di film e risposte del cervello a guardare quei fotogrammi; cambiamenti nelle misurazioni della temperatura sulla superficie terrestre dal 1875 al 2013; e il contenuto tematico dei tweet politici emessi da Hillary Clinton e Donald Trump durante la campagna presidenziale degli Stati Uniti del 2016.

Oltre a utilizzare HyperTools per comprendere direttamente la struttura geometrica dei dati, le intuizioni rivelate dallo strumento possono essere utilizzate anche per guidare lo sviluppo di algoritmi di apprendimento automatico. Per esempio, le visualizzazioni dei dati possono rivelare come diversi tipi di osservazioni formino cluster distinti strutturati (ad esempio tweet di Trump contro tweet di Clinton) che potrebbero essere utilizzati per comprendere le somiglianze e le differenze tra i gruppi.

Come parte della casella degli strumenti di HyperTools, Il laboratorio di Manning continua a sviluppare e rilasciare altri tipi di analisi di visualizzazione geometrica, comprese le analisi di testo lanciate di recente.