'Google pretraživanje na steroidima' donosi tamni Web na svjetlo

Vladina agencija koja nam je donijela Internet sada je razvila snažnu novu tražilicu koja osvjetljava sadržaj takozvanog dubokog weba. 

Agencija za obrambene napredne istraživačke projekte (DARPA) započela je rad na Memexovoj pretraživačici za duboku mrežu prije godinu dana, a ovog je tjedna svoje alate predstavila Scientific Americanu i "60 minuta". 

Cilj Memexa, koji razvija 17 različitih timova izvođača, ima za cilj stvoriti bolju mapu internetskog sadržaja i otkriti obrasce u mrežnim podacima koji bi mogli pomoći policijskim službenicima i drugima. Iako su se rana ispitivanja usredotočila na mapiranje kretanja trgovaca ljudima, tehnologija bi se jednog dana mogla primijeniti na istražne napore poput protuterorizma, nestalih osoba, odgovora na bolesti i pomoći u katastrofama.

Dan Kaufman, direktor ureda za informacijske inovacije u DARPA-i, kaže da je Memex sve u tome da se neviđeno vidi. "Internet je puno, puno veći nego što ljudi misle", rekao je voditelj programa DARPA Chris White za "60 minuta". "Prema nekim procjenama Google, Microsoft Bing i Yahoo daju nam pristup samo oko 5 posto sadržaja na Webu."

Google i Bing daju rezultate na temelju popularnosti i rangiranja, ali Memex pretražuje sadržaj koji komercijalne tražilice obično ignoriraju, poput nestrukturiranih podataka, nepovezanog sadržaja, privremene stranice koje se uklanjaju prije nego što ih komercijalne tražilice mogu indeksirati i forume za chat. Redovne tražilice ignoriraju ove duboke web podatke jer ih web oglašivači - u kojima tvrtke koje zarađuju preglednike - ne zanimaju.

Memex također automatizira mehanizam puzanja mračnog ili anonimnog weba na kojem kriminalci posluju. Te skrivene stranice usluga, kojima se može pristupiti samo putem anonimnog preglednika TOR, obično rade pod nadzorom zakona koji prodaju ilegalne droge i drugu krijumčarenu robu. Tamo gdje se nekoć mislilo da se aktivnost mračnog weba sastoji od oko 1000 stranica, White je za Scientific American rekao da može postojati između 30 000 i 40 000 tamnih web stranica.

Do sada je bilo teško pogledati ove stranice na bilo koji sustavan način. Ali Memex - kojeg Manhattan DA Cyrus Vance Jr. naziva "Googleovim pretraživanjem na steroidima" - ne samo indeksira njihov sadržaj već ga analizira kako bi otkrio skrivene veze koje bi mogle biti korisne za provođenje zakona.

DARPA-ini alati za pretraživanje uvedeni su prošle godine u odabrane agencije za provođenje zakona, uključujući novu Jedinicu za odgovor na trgovinu ljudima na Manhattanu. Memex se sada koristi u svakom slučaju trgovine ljudima koji vodi i igrao je ulogu u generiranju najmanje 20 istraga trgovine ljudima. Nadopunjeni web-indeks može prepoznati odnose između različitih dijelova podataka i izrađuje podatkovne karte koje pomažu istražiteljima u otkrivanju uzoraka.

U demonstraciji za "60 minuta" White je pokazao kako Memex može pratiti kretanje trgovaca ljudima na temelju podataka povezanih s mrežnim oglasima za seks. "Ponekad je to funkcija IP adrese, ali ponekad je to funkcija telefonskog broja ili adrese u oglasu ili geolokacije uređaja koji je oglas objavio", rekao je White. "Postoje ponekad i drugi artefakti koji pridonose položaju."

White je naglasio da Memex ne pribjegava hakiranju kako bi dohvatio informacije. "Ako je nešto zaštićeno lozinkom, to nije javni sadržaj i Memex to ne pretražuje", rekao je za Scientific American. "Nismo htjeli zamagliti ovaj posao nepotrebno uvlačeći bauk njuškanja i nadzora" - osjetljiva je tema nakon otkrića NSA-a Edwarda Snowdena.

Memex je dobio ime (kombinacija "memorije" i "indeksa") i nadahnuća po hipotetskom uređaju koji je opisao Vannevar Bush 1945. godine, a koji je nagovijestio izum računala, Interneta i drugih glavnih IT napretka u sljedećih 70 godina. Čini se da će nam DARPA i Memex približiti korak bliže futurističkoj policijskoj upravi Philipa Dicka prikazanoj u "Manjinskom izvještaju".

Nova runda testiranja, koja treba započeti za nekoliko tjedana, uključivat će savezne i okružne tužitelje, regionalne i nacionalne službe za provođenje zakona i više nevladinih organizacija. Prema izvještaju Scientific American, cilj mu je "testirati nove mogućnosti pretraživanja slika koje mogu analizirati fotografije čak i kad su dijelovi koji bi mogli pomoći istražiteljima - uključujući lica trgovaca ljudima ili televizijski ekran u pozadini - zamračeni".

Izmišljanjem boljih načina interakcije s i predstavljanjem informacija prikupljenih iz većeg broja izvora, "želimo poboljšati potragu za svima. Jednostavnost upotrebe za neprogramere je ključna", rekao je White.