Ricordo ancora la mia sorpresa quando un libro del biologo evoluzionista Peter Lawrence intitolato La creazione di una mosca è arrivato ad essere valutato su Amazon a $ 23, 698, 655,93 (più 3,99 $ di spedizione). Mentre i miei colleghi di tutto il mondo devono essere diventati piuttosto depressi che un libro accademico possa raggiungere una tale impresa, il prezzo elevato era in realtà il risultato di algoritmi che si alimentavano a vicenda e andavano fuori controllo. Si scopre, non era solo il personale di vendita a essere creativo:erano gli algoritmi a dettare legge.

Questo esempio accattivante è stato individuato e corretto. Ma cosa succede se tale interferenza algoritmica accade continuamente, anche in modi che non ci accorgiamo nemmeno? Se la nostra realtà sta diventando sempre più costruita da algoritmi, dove questo ci lascia umani?

Ispirato da tali esempi, il mio collega Prof Allen Lee ed io abbiamo recentemente deciso di esplorare gli effetti più profondi della tecnologia algoritmica in un articolo sul Journal of the Association for Information Systems. La nostra esplorazione ci ha portato alla conclusione che, col tempo, i ruoli della tecnologia dell'informazione e degli esseri umani sono stati invertiti. Nel passato, noi umani usavamo la tecnologia come strumento. Ora, la tecnologia è avanzata al punto da utilizzarci e persino controllarci.

Noi umani non siamo semplicemente tagliati fuori dalle decisioni che le macchine stanno prendendo per noi, ma ne siamo profondamente influenzati in modi imprevedibili. Invece di essere centrale nel sistema di decisioni che ci riguarda, siamo scacciati nel suo ambiente. Abbiamo progressivamente limitato la nostra capacità decisionale e permesso agli algoritmi di prendere il sopravvento. Siamo diventati esseri umani artificiali, o manufatti umani, che si creano, modellato e utilizzato dalla tecnologia.

Gli esempi abbondano. Legalmente, gli analisti legali vengono gradualmente sostituiti dall'intelligenza artificiale, il che significa che la difesa o il perseguimento di successo di un caso può fare affidamento in parte su algoritmi. Il software è stato persino autorizzato a prevedere futuri criminali, in definitiva controllando la libertà umana modellando il modo in cui la libertà vigilata viene negata o concessa ai prigionieri. In questo modo, le menti dei giudici sono plasmate da meccanismi decisionali che non riescono a comprendere a causa della complessità del processo e della quantità di dati che comporta.

Nel mercato del lavoro, l'eccessiva dipendenza dalla tecnologia ha portato alcune delle più grandi aziende del mondo a filtrare i CV tramite software, il che significa che i reclutatori umani non guarderanno mai nemmeno i dettagli di alcuni potenziali candidati. Questo non solo mette i mezzi di sussistenza delle persone in balia delle macchine, può anche creare pregiudizi nelle assunzioni che l'azienda non aveva desiderio di implementare, come è successo con Amazon.

Nelle notizie, la cosiddetta analisi del sentiment automatizzata analizza le opinioni positive e negative sulle aziende basate su diverse fonti web. A sua volta, questi vengono utilizzati da algoritmi di trading che prendono decisioni finanziarie automatizzate, senza che gli umani debbano effettivamente leggere le notizie.

Conseguenze non volute

Infatti, gli algoritmi che operano senza l'intervento umano svolgono ora un ruolo significativo nei mercati finanziari. Per esempio, L'85% di tutte le negoziazioni sui mercati valutari è condotto solo da algoritmi. La crescente corsa agli armamenti algoritmica per sviluppare sistemi sempre più complessi per competere in questi mercati significa che enormi somme di denaro vengono stanziate in base alle decisioni delle macchine.

Su piccola scala, le persone e le aziende che creano questi algoritmi sono in grado di influenzare ciò che fanno e come lo fanno. Ma poiché gran parte dell'intelligenza artificiale implica la programmazione di software per capire come completare un'attività da sola, spesso non sappiamo esattamente cosa c'è dietro il processo decisionale. Come per tutta la tecnologia, questo può portare a conseguenze indesiderate che possono andare ben oltre qualsiasi cosa i progettisti abbiano mai immaginato.

Prendi il "Flash Crash" 2010 dell'indice Dow Jones Industrial Average. L'azione degli algoritmi ha contribuito a creare il più grande declino dell'indice nella sua storia, cancellando quasi il 9% dal suo valore in pochi minuti (anche se ha riguadagnato la maggior parte di questo entro la fine della giornata). Un'indagine di cinque mesi potrebbe solo suggerire cosa ha scatenato la recessione (e sono state proposte varie altre teorie).

Ma gli algoritmi che hanno amplificato i problemi iniziali non hanno commesso errori. Non c'era un bug nella programmazione. Il comportamento è emerso dall'interazione di milioni di decisioni algoritmiche che giocano l'una contro l'altra in modi imprevedibili, seguendo la propria logica in un modo che ha creato una spirale discendente per il mercato.

Le condizioni che lo hanno reso possibile si sono verificate perché, negli anni, le persone che gestiscono il sistema commerciale erano arrivate a vedere le decisioni umane come un ostacolo all'efficienza del mercato. Nel 1987, quando il mercato azionario statunitense crollò del 22,61%, alcuni broker di Wall Street hanno semplicemente smesso di prendere in mano il telefono per evitare di ricevere gli ordini dei loro clienti di vendere azioni. Questo ha avviato un processo che, come ha scritto l'autore Michael Lewis nel suo libro Flash Boys, "si è conclusa con i computer che hanno completamente sostituito le persone".

Il mondo finanziario ha investito milioni in cavi superveloci e comunicazioni a microonde per ridurre di pochi millisecondi la velocità con cui gli algoritmi possono trasmettere le loro istruzioni. Quando la velocità è così importante, un essere umano che richiede ben 215 millisecondi per fare clic su un pulsante è quasi completamente ridondante. Il nostro unico scopo rimanente è riconfigurare gli algoritmi ogni volta che il sistema delle decisioni tecnologiche fallisce.

Man mano che vengono scavati nuovi confini tra l'uomo e la tecnologia, dobbiamo pensare attentamente a dove ci sta portando la nostra estrema dipendenza dal software. As human decisions are substituted by algorithmic ones, and we become tools whose lives are shaped by machines and their unintended consequences, we are setting ourselves up for technological domination. We need to decide, while we still can, what this means for us both as individuals and as a society.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.