Il world wide web è cresciuto enormemente dal suo inizio accademico e di ricerca nel 1991, e la sua successiva espansione nei domini pubblici e commerciali. Inizialmente, era una rete di pagine con collegamenti ipertestuali e altre risorse digitali. Molto presto, è diventato ovvio che alcune risorse erano così vaste che avrebbe avuto più senso generare dinamicamente i materiali richiesti dai singoli utenti piuttosto che archiviare ogni singola entità digitale come un elemento unico.

Oggi, innumerevoli siti web sono dinamici, ogni visita unica attinge dinamicamente informazioni e dati da un database di back-end e li presenta all'utente su richiesta. Considerando che le pagine statiche possono essere facilmente ricercate dai motori di ricerca, il contenuto del database che guida i siti Web dinamici è inaccessibile. Già nel 2001, quando c'erano già diversi terabyte di pubblico, dati web statici, è stato stimato che il "web invisibile, " o "web nascosto, " da non confondere con il "dark web, " era circa 550 volte più grande delle risorse visibili.

Scrivendo sull'International Journal of Business Intelligence and Data Mining, un team indiano descrive come hanno sviluppato un'architettura multiagente intelligente basata su algoritmi genetici in grado di estrarre informazioni dal web invisibile. Gli strumenti potrebbero consentire lo spidering anche di materiali presumibilmente off-limits per i motori di ricerca convenzionali, raschiato, e catalogati per un'ampia gamma di applicazioni.

D. Weslin della Bharathiar University e Joshva Devadas del Vellore Institute of Technology descrivono i dettagli ei vantaggi del loro approccio nell'ultimo numero della rivista. "I risultati sperimentali mostrano che l'architettura proposta fornisce una precisione e un richiamo migliori rispetto ai web crawler esistenti, ", scrive la squadra.