DARPA lucrează la un motor de căutare capabil să indexeze misteriosul Deep Web, care este de sute de ori mai mare ca internetul vizibil

Potrivit unor estimări ale companiei Bright Planet, Deep Web-ul, numit și Invisible Web sau Deepnet, este de 400-550 de ori mai mare decât internetul care poate fi accesat (Surface Web), iar de acolo se fac foarte multe ilegalități, precum atacuri informatice, trafic de droguri și arme, pornografie infantilă sau proxenetism. Trebuie precizat faptul că Deep Web-ul nu este folosit doar de infractori, ci și de persoane aflate în state în care cenzura asupra internetului este ridicată. 

Cum această parte masivă a internetului nu este accesată de motoarele de căutare convenționale, agenția americană pentru proiecte militare avansate DARPA (Defense Advanced Research Projects Agency) lucrează la un motor de căutare capabil să pătrundă în Deepnet.

Potrivit unei alte estimări, Surface Web (internetul superficial) reprezintă doar 4% din web. 

Proiectul DARPA, numit „Memex”, a început acum mai mult de un an, iar la el lucrează 17 echipe contractate de agenție.

Deși Google ar putea indexa și părți din Deep Web – în special partea sa semi-ascunsă numită Dark Web -, compania nu este interesată de acest lucru din motive evidente: nu dorește să devină o țintă pentru atacatori, iar afișarea de astfel de rezultate nu are o miză financiară.

Accesul în Deepnet se face, de obicei, prin intermediul unor servicii de criptare și tunneling, precum Tor Hidden Services sau I2P. De exemplu, site-urile celor care folosesc platforma Tor au adrese care se termină cu „.onion” și pot fi accesate doar prin browserul Tor. Însă sunt și site-uri, parte a Dark Web, care se ascund „în câmp deschis”, în sensul că pot fi accesate de oricine are adresa sau link-ul lor, dar nu pot fi identificate serverele pe care sunt găzduite. Mai mult, Facebook, o companie care nu excelează la capitolul intimitate oferită utilizatorilor, a anunțat recent că a lansat o versiune a site-ului său cu extensie .onion (facebookcorewwwi.onion) care să poată fi accesată de utilizatorii de Tor. Practic, Facebook își oferă acum serviciile și în Deepnet, nu numai în Surface Web. 

Memex își propune să găsească aceste site-uri ascunse și să facă public conținutul lor.