Kaj je pajek?

Pajek je program ali skript, napisan za sistematično brskanje po svetovnem spletu za namene indeksiranja spletnih strani. Pajek se lahko imenuje tudi spletni robot, spletni pajek ali spletni robot .

Na primer, pajki se pogosto uporabljajo za zbiranje ključnih besed s spletnih strani, ki so nato razvrščene, tako da lahko uporabniki poiščejo omenjene strani prek internetnega iskalnika.

Bots, Crawl, internetni izrazi, Robot, Robots.txt, Spletna stran, Spletna stran