Solo pochi anni fa, la ricerca sul web è stata semplice. Gli utenti hanno digitato alcune parole e hanno sfogliato pagine di risultati.

Oggi, quegli stessi utenti possono invece scattare una foto su un telefono e rilasciarla in una casella di ricerca o utilizzare un assistente intelligente per porre una domanda senza toccare fisicamente un dispositivo. Possono anche digitare una domanda e aspettarsi una risposta effettiva, non un elenco di pagine con risposte probabili.

Queste attività sfidano i motori di ricerca tradizionali, che si basano su un sistema di indice invertito che si basa su corrispondenze di parole chiave per produrre risultati.

"Gli algoritmi di ricerca per parole chiave falliscono quando le persone fanno una domanda o scattano una foto e chiedono al motore di ricerca, 'Cos'è questo?'", disse Rangan Majumder, responsabile del programma di gruppo nel team di ricerca e intelligenza artificiale di Bing di Microsoft.

Certo, stare al passo con le preferenze di ricerca degli utenti non è una novità:è stata una lotta sin dall'inizio della ricerca web. Ma ora, sta diventando più facile soddisfare queste esigenze in continua evoluzione, grazie ai progressi dell'intelligenza artificiale, compresi quelli sperimentati dal team di ricerca di Bing e dai ricercatori del laboratorio di ricerca asiatico di Microsoft.

"L'intelligenza artificiale sta rendendo i prodotti con cui lavoriamo più naturali, " disse Majumder. "Prima, la gente doveva pensare, 'Sto usando un computer, quindi come faccio a digitare il mio input in modo da non interrompere la ricerca?'"

Microsoft ha reso disponibile a chiunque uno degli strumenti di intelligenza artificiale più avanzati che utilizza per soddisfare meglio le esigenze di ricerca in evoluzione delle persone come progetto open source su GitHub. Di mercoledì, ha anche rilasciato tecniche di esempio utente e un video di accompagnamento per quegli strumenti tramite il laboratorio di intelligenza artificiale di Microsoft.

L'algoritmo, chiamato Space Partition Tree And Graph (SPTAG), consente agli utenti di sfruttare l'intelligenza dei modelli di deep learning per cercare tra miliardi di informazioni, chiamati vettori, in millisecondi. Quella, a sua volta, significa che possono fornire più rapidamente risultati più pertinenti agli utenti.

La ricerca vettoriale semplifica la ricerca per concetto piuttosto che per parola chiave. Per esempio, se un utente digita "Quanto è alta la torre a Parigi?" Bing può restituire un risultato in linguaggio naturale dicendo all'utente che la Torre Eiffel è 1, 063 piedi, anche se la parola "Eiffel" non è mai apparsa nella query di ricerca e la parola "alto" non appare mai nel risultato..

Microsoft utilizza la ricerca vettoriale per il proprio motore di ricerca Bing, e la tecnologia sta aiutando Bing a comprendere meglio l'intento dietro miliardi di ricerche web e a trovare il risultato più pertinente tra miliardi di pagine web.

Utilizzo di vettori per una ricerca migliore

Essenzialmente una rappresentazione numerica di una parola, pixel dell'immagine o altro punto dati, un vettore aiuta a catturare il significato effettivo di un dato. Grazie ai progressi in un ramo dell'intelligenza artificiale chiamato deep learning, Microsoft ha affermato che può iniziare a comprendere e rappresentare l'intento di ricerca utilizzando questi vettori.

Una volta assegnato il punto numerico a un dato, i vettori possono essere organizzati, o mappato, con numeri vicini posti in prossimità l'uno dell'altro per rappresentare la somiglianza. Questi risultati prossimali vengono mostrati agli utenti, migliorare i risultati della ricerca.

La tecnologia alla base della ricerca vettoriale utilizzata da Bing ha avuto inizio quando gli ingegneri dell'azienda hanno iniziato a notare tendenze insolite nei modelli di ricerca degli utenti.

"Nell'analizzare i nostri log, il team ha scoperto che le query di ricerca stavano diventando sempre più lunghe, " ha detto Majumder. Questo ha suggerito che gli utenti stavano facendo più domande, spiegando troppo a causa del passato, scarse esperienze con la ricerca per parole chiave, o stavano "cercando di agire come computer" quando descrivevano cose astratte, tutte innaturali e scomode per gli utenti.

Con la ricerca Bing, lo sforzo di vettorizzazione si è esteso a oltre 150 miliardi di dati indicizzati dal motore di ricerca per apportare miglioramenti rispetto alla corrispondenza delle parole chiave tradizionale. Questi includono singole parole, caratteri, frammenti di pagine web, query complete e altri media. Una volta che un utente effettua la ricerca, Bing può scansionare i vettori indicizzati e fornire la migliore corrispondenza.

Anche l'assegnazione dei vettori viene addestrata utilizzando la tecnologia di deep learning per un miglioramento continuo. I modelli considerano gli input come i clic dell'utente finale dopo una ricerca per comprendere meglio il significato di tale ricerca.

Sebbene l'idea di vettorizzare i media e i dati di ricerca non sia nuova, solo di recente è stato possibile utilizzarlo sulla scala di un enorme motore di ricerca come Bing, Gli esperti di Microsoft hanno detto.

"Bing elabora miliardi di documenti ogni giorno, e l'idea ora è che possiamo rappresentare queste voci come vettori e cercare in questo indice gigante di oltre 100 miliardi di vettori per trovare i risultati più correlati in 5 millisecondi, "ha detto Jeffrey Zhu, program manager nel team Bing di Microsoft.

Per metterlo in prospettiva, Majumder ha detto, considera questo:una pila di 150 miliardi di biglietti da visita si estenderebbe da qui alla luna. In un batter d'occhio, La ricerca di Bing utilizzando SPTAG può trovare 10 diversi biglietti da visita uno dopo l'altro all'interno di quella pila di carte.

Usi per visuale, ricerca audio

Il team di Bing ha affermato di aspettarsi che l'offerta open source possa essere utilizzata per applicazioni aziendali o rivolte ai consumatori per identificare una lingua parlata in base a un frammento audio, o per servizi ricchi di immagini come un'app che consente alle persone di scattare foto di fiori e identificare che tipo di fiore è. Per questi tipi di applicazioni, un'esperienza di ricerca lenta o irrilevante è frustrante.

"Anche un paio di secondi per una ricerca possono rendere inutilizzabile un'app, " ha osservato Majumder.

Il team spera anche che ricercatori e accademici lo utilizzino per esplorare altre aree di scoperte di ricerca.

"Abbiamo appena iniziato a esplorare ciò che è realmente possibile intorno alla ricerca vettoriale a questa profondità, " Egli ha detto.