Sadržaj:
Definicija - Što znači web pretraživač?
Web pretraživač je internetski bot koji pomaže u indeksiranju na webu. Oni pretražuju jednu po jednu stranicu prema web mjestu dok sve stranice ne budu indeksirane. Web pretraživači pomažu u prikupljanju podataka o web lokaciji i vezama povezanim s njima, a također pomažu u provjeri HTML koda i hiperveza.
Alat za indeksiranje web stranica poznat je i kao web pauk, automatski indeks ili jednostavno alat za indeksiranje.
Techopedia objašnjava Web Crawler
Web pretraživači prikupljaju podatke poput URL-a web stranice, informacije o meta oznakama, sadržaj web stranice, veze na web stranici i odredišta koja vode s tih veza, naslov web stranice i sve ostale relevantne informacije. Oni prate URL-ove koji su već preuzeti kako bi izbjegli ponovno preuzimanje iste stranice. Kombinacija politika poput politike ponovnog posjeta, politike odabira, politike paralelizacije i politike učtivosti određuje ponašanje web indeksa. Mnogobrojni su izazovi za indeksiranje web stranica, naime veliki i kontinuirano razvijajući se World Wide Web, sporazumi o odabiru sadržaja, socijalne obveze i suočavanje s protivnicima.
Web pretraživači ključne su komponente web pretraživača i sustava koji pretražuju web stranice. Oni pomažu u indeksiranju web zapisa i omogućuju korisnicima slanje upita protiv indeksa, a također pružaju i web stranice koje odgovaraju upitima. Druga je upotreba Web pretraživača u Web arhiviranju, koja uključuje velike skupove web stranica koje se povremeno prikupljaju i arhiviraju. Web pretraživači koriste se i u pretraživanju podataka, pri čemu se stranice analiziraju na različita svojstva poput statistike, a na njima se vrši analiza podataka.
