Sadržaj:
Definicija - Što znači Pauk?
U kontekstu Interneta, pauk je specijalizirani softver osmišljen za sustavno pretraživanje i pregledavanje World Wide Weba, obično u svrhu indeksiranja web stranica kako bi ih ponudio kao rezultate pretraživanja za korisničke upite pretraživanja. Najpoznatiji od takvih pauka je Googlebot, Googleov glavni alat za indeksiranje, koji pomaže osigurati vraćanje relevantnih rezultata za upite pretraživanja.
Pauci su također poznati i kao web pretraživači, pretraživači ili jednostavno botovi.
Tehopedija objašnjava Pauka
Pauk je u osnovi program koji se koristi za skupljanje informacija sa svjetske mreže. Prolazi kroz stranice web mjesta izvlačeći podatke i indeksirajući ih za kasniju upotrebu, obično za rezultate pretraživača. Pauk posjećuje web stranice i njihove stranice kroz različite veze na i sa stranica, pa će stranicu bez ijedne poveznice do nje biti teško indeksirati i na stranici s rezultatima pretraživanja možda biti vrlo nisko rangirana. A ako postoji puno veza koje upućuju na stranicu, to bi značilo da je stranica popularna i da će se pojaviti više na rezultatima pretraživanja.
Koraci koji uključuju web indeksiranje:
- Pauk nađe stranicu i počne pretraživati svoje stranice.
- Pauk indeksira riječi i sadržaj web mjesta.
- Pauk posjećuje veze pronađene na web mjestu.
Spiders ili webcrawlers samo su programi i kao takvi slijede sustavna pravila koja su postavili programeri. Vlasnici web stranica također se mogu upustiti u to tako što će reći pauku koje dijelove web mjesta indeksirati, a koji ne. To se postiže stvaranjem datoteke "robots.txt" koja sadrži upute za pauka o tome koje dijelove treba indeksirati i veze koje treba slijediti, a koje treba ignorirati. Najznačajniji paukovi tamo su oni u vlasništvu glavnih pretraživača kao što su Google, Bing i Yahoo, i oni namijenjeni za vađenje podataka i istraživanje, ali postoje i neki zlobni pauci napisani za pronalaženje i prikupljanje e-mailova koje bi korisnik mogao prodati tvrtkama. ili za pronalaženje ranjivosti u web sigurnosti.
