Kaj je Crawl?

Pajkanje je izraz, ki se uporablja za opis postopka bot, skripte ali programske opreme, ki obišče spletno stran in prikaže vsebino in povezave na tej strani. Ko je program dokončan, obišče naslednjo povezavo na seznamu ali eno od povezav, ki so bile pridobljene s spletne strani, ki jo je pravkar obiskala.

Internetni izrazi, Metacrawler, Iskalnik, Spider