Pojam "nevidljivi web"uglavnom se odnosi na ogromno spremište informacija koje tražilice i direktori nemaju izravan pristup, poput baza podataka. Za razliku od stranica na vidljivom webu (tj. Webu kojemu možete pristupiti iz tražilica i direktorija), informacije u bazama podataka uglavnom su nedostupne softverskim paukovima i alatima za indeksiranje koji stvaraju indekse tražilice. Korisnici mogu pristupiti većini tih informacija, ali samo kroz određena pretraživanja koja otključavaju gdje te informacije žive.
Nevidljivi web procjenjuje se doslovno tisuće puta veći od web sadržaja koji se nalazi s općim upitima tražilice. Prema Bright Planetu, organizaciji za pretraživanje koja se specijalizirala za ekstrakciju nevidljivog web sadržaja, Nevidljivi web sadrži gotovo 550 milijardi pojedinačnih dokumenata u usporedbi s milijardom površinskog weba. Glavni pretraživači - Google , Yahoo, Bing - ne vraćaju sve "skrivene" sadržaje u tipičan pretraživač, jednostavno zato što ne mogu vidjeti taj sadržaj bez specijaliziranih parametara pretraživanja i / ili ekspertize za pretraživanje. No, kada pretraživač zna kako pristupiti tim podacima, postoji velika raznolikost dostupnih informacija.
Spiders, koji su u osnovi mali softverski programi, meandriraju cijelim webom, indeksirajući adrese stranica koje otkrivaju. Kada se ti programi pokrenu na stranici s Nevidljivog weba, ne znaju što bi s njom trebali učiniti. Ovi pauci mogu snimiti adresu, ali ne mogu pristupiti ništa o informacijama koje stranica sadrži. Zašto? Mnogo je čimbenika, ali uglavnom se svode na tehničke prepreke i / ili namjerne odluke vlasnika web mjesta da bi se isključile njihove stranice od spiders tražilice. Na primjer, sveučilišne knjižnične stranice koje zahtijevaju zaporku za pristup njihovim informacijama neće biti uključene u rezultate tražilice, kao i stranice na temelju skripte koje se ne mogu lako čitati pomoću pauka tražilice
