Le tecnologie avanzate offrono vantaggi ogni giorno. Ma, a volte le interazioni con la tecnologia possono andare storte e portare al disastro.

Il 10 marzo, i piloti a bordo del volo 302 della Ethiopian Airlines non sono stati in grado di correggere un guasto in uno dei sistemi automatizzati del Boeing 737 Max 8, provocando un incidente e la morte di tutti i passeggeri e dell'equipaggio. Un anno prima, quasi al giorno, un altro veicolo automatizzato - non un aereo ma un'auto a guida autonoma Uber - ha colpito e ucciso Elaine Herzberg a Tempe, Arizona.

In qualità di esperti nel modo in cui gli esseri umani e le tecnologie interagiscono, sappiamo che è impossibile eliminare completamente il rischio in sistemi tecnologici complessi. Queste tragedie sono il risultato di regolatori ed esperti del settore che trascurano le complessità e i rischi delle interazioni tra tecnologie e esseri umani e fanno sempre più affidamento sull'autovalutazione volontaria delle aziende, piuttosto che oggettivo, test indipendenti. Tragicamente, sembra che sia successo con l'aereo di Boeing e l'auto di Uber.

Affare rischioso

Lo schianto del volo 302 della Ethiopian Airlines così come quello del Lion Air Flight 610 nel 2018, successo nonostante la supervisione di uno dei regolatori tecnologicamente più capaci al mondo. I viaggi aerei sono notevolmente sicuri alla luce dei potenziali rischi.

Prima che il 737 Max 8 prendesse il volo, ha dovuto superare una serie di ispezioni della Federal Aviation Administration. Nel corso di tale processo, Boeing ha convinto la FAA che il sistema automatizzato era più sicuro di quanto non fosse in realtà, e che i piloti avrebbero avuto bisogno di pochissimo addestramento sul nuovo aereo.

La FAA ha autorizzato il 737 Max 8 e il suo sistema di controllo di volo a volare - e ha mantenuto tale autorizzazione non solo dopo l'incidente della Lion Air, ma anche per tre giorni dopo la tragedia della Ethiopian Airlines.

Dagli aeroplani alle automobili

Con l'aumento dell'automazione degli aeroplani, lo stesso vale per le auto. Diverse aziende stanno testando veicoli autonomi sulle strade di tutto il paese e con molta meno supervisione rispetto all'industria aeronautica. Le regole locali e federali sono limitate, spesso in nome della promozione dell'innovazione. Le linee guida federali sulla sicurezza per i veicoli autonomi richiedono che superino solo gli stessi test sulle prestazioni di qualsiasi altra auto, come gli standard minimi di risparmio di carburante, configurazioni delle cinture di sicurezza e come proteggeranno gli occupanti in caso di ribaltamento.

Non ci sono test di affidabilità dei loro sensori, tanto meno i loro algoritmi. Alcuni stati richiedono alle aziende di segnalare "disimpegno" - quando il cosiddetto "autista di sicurezza" riprende il controllo del sistema automatizzato. Ma soprattutto le case automobilistiche a guida autonoma possono fare ciò che vogliono, purché ci sia una persona al volante.

Nei mesi precedenti la collisione di marzo 2018, Uber era sotto pressione per raggiungere GM Cruise e Waymo. Le auto di Uber avevano un sensibile sistema di riconoscimento degli oggetti, che a volte sarebbe stato ingannato da un'ombra sulla strada e avrebbe frenato per evitare un ostacolo che in realtà non c'era. Che ha provocato un duro, stop-and-start corsa. Per appianare le cose, Gli ingegneri di Uber hanno disabilitato il sistema di frenata di emergenza dell'auto. La società sembra aver ipotizzato che l'unico conducente di sicurezza sarebbe sempre stato in grado di fermare l'auto in tempo se c'era davvero il pericolo di urtare qualcosa.

Non è quello che è successo quando Elaine Herzberg ha attraversato la strada. L'auto a guida autonoma di Uber che l'ha investita e uccisa l'ha vista con i suoi sensori e telecamere, ma non è stato in grado di fermarsi da solo. L'autista della sicurezza sembra essere stato distratto dal suo telefono, in violazione delle politiche di Uber, anche se non è chiaro come l'azienda abbia informato i suoi responsabili della sicurezza sul cambiamento del sistema automatizzato.

vigilare su se stessi

Le autorità di regolamentazione si affidano a pratiche di autovalutazione della sicurezza, per cui le aziende private garantiscono la conformità dei propri prodotti agli standard federali. Le migliori garanzie che loro – e il pubblico – hanno per la sicurezza e l'affidabilità di questi veicoli sono le garanzie delle aziende che intendono venderli.

I rapporti forniti dalle aziende possono essere limitati a prove concrete, pubblicizzando il numero di miglia reali e simulate guidate, senza dettagli su come si comportano le auto in varie condizioni. E le case automobilistiche rilasciano costantemente nuovi modelli e aggiornano il loro software, costringendo i conducenti umani a conoscere le nuove funzionalità.

Questo è tanto più snervante perché ci sono molte più auto sulle strade che aerei in volo:270 milioni di auto immatricolate solo negli Stati Uniti, rispetto a 25, 000 aerei commerciali in tutto il mondo. Inoltre, le auto a guida autonoma devono gestire non solo le condizioni meteorologiche ma anche le interazioni a distanza ravvicinata con altre auto, pedoni, ciclisti ed e-scooter. I conducenti di sicurezza non ricevono quasi la quantità di addestramento che fanno i piloti, o.

Arizona, dove siamo basati, è un luogo popolare per i test pubblici di veicoli autonomi, in parte a causa di una supervisione più flessibile che in altri stati. Nella zona di Fenice, però, c'è una crescente preoccupazione pubblica per la sicurezza. Alcuni cittadini stanno molestando i veicoli autonomi nel tentativo di scoraggiarli dal guidare attraverso i loro quartieri. Come ha detto un residente dell'Arizona al New York Times, l'industria dei veicoli autonomi "ha affermato di aver bisogno di esempi reali, ma non voglio essere il loro errore nel mondo reale."

Collegamento con il pubblico, innovare responsabilmente

In assenza di standard di sicurezza federali per i veicoli autonomi, states and local governments are left to protect the public – often without the expertise and resources to do so effectively. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.