Poiché il ruolo dell'IA nella società continua ad espandersi, J B Brown della Graduate School of Medicine riporta un nuovo metodo di valutazione per il tipo di AI che prevede risposte sì/positive/vero o no/negativo/falso.

carta di Brown, pubblicato in Informatica molecolare , decostruisce l'utilizzo dell'intelligenza artificiale e analizza la natura delle statistiche utilizzate per segnalare la capacità di un programma di intelligenza artificiale. La nuova tecnica genera anche una probabilità del livello di prestazione dati i dati di valutazione, rispondendo a domande come:Qual è la probabilità di ottenere una precisione maggiore del 90%?

Rapporti di nuove applicazioni di intelligenza artificiale appaiono nelle notizie quasi quotidianamente, anche nella società e nella scienza, finanza, prodotti farmaceutici, medicinale, e sicurezza.

"Mentre le statistiche riportate sembrano impressionanti, i gruppi di ricerca e coloro che valutano i risultati si imbattono in due problemi, " spiega Brown. "In primo luogo, per capire se l'IA ha raggiunto i suoi risultati per caso, e secondo, per interpretare l'applicabilità dalle statistiche sulle prestazioni riportate."

Per esempio, se un programma di intelligenza artificiale è costruito per prevedere se qualcuno vincerà o meno alla lotteria, può sempre prevedere una perdita. Il programma può raggiungere la "precisione del 99%", ma l'interpretazione è la chiave per determinare l'accuratezza della conclusione che il programma è accurato.

Ma qui sta il problema:nello sviluppo tipico dell'IA, la valutazione può essere attendibile solo se c'è un numero uguale di risultati positivi e negativi. Se i dati sono distorti verso uno dei due valori, l'attuale sistema di valutazione esagererà le capacità del sistema.

Quindi, per affrontare questo problema, Brown ha sviluppato una nuova tecnica che valuta le prestazioni basandosi solo sui dati di input stessi.

"La novità di questa tecnica è che non dipende da nessun tipo di tecnologia AI, come l'apprendimento profondo, " Brown descrive. "Può aiutare a sviluppare nuove metriche di valutazione osservando come una metrica interagisce con l'equilibrio nei dati previsti. Possiamo quindi dire se le metriche risultanti potrebbero essere distorte".

Brown spera che questa analisi non solo aumenterà la consapevolezza di come pensiamo all'IA in futuro, ma anche che contribuisce allo sviluppo di piattaforme AI più robuste.

Oltre alla metrica di precisione, Brown ha testato altre sei metriche in scenari sia teorici che applicati, trovando che nessuna singola metrica era universalmente superiore. Dice che la chiave per costruire piattaforme AI utili è avere una visione multimetrica della valutazione.

"L'intelligenza artificiale può aiutarci a comprendere molti fenomeni nel mondo, ma per fornirci correttamente una direzione, dobbiamo saper fare le domande giuste. Dobbiamo stare attenti a non concentrarci eccessivamente su un singolo numero come misura dell'affidabilità di un'IA".

Il programma di Brown è disponibile gratuitamente al pubblico in generale, ricercatori, e sviluppatori.