Datoteka, ki se uporablja za usmerjanje ali sporočanje spletnim pošto, katere strani in imenike indeksirajo ali ne indeksirajo. Ta datoteka mora biti postavljena v korenski imenik na strežniku, ki gosti vaše strani. Datoteka mora imeti ime robots.txt in imeti mora dovoljenja za branje. Spodaj je primer datoteke robots.txt.

 # robots.txt datoteka za //www.computerhope.comUser -agent: * Disallow: / directory1 / 
Disallow: / directory2 /

V zgornjem primeru datoteke robots.txt je prva vrstica neizvršljiv stavek, ki opisuje datoteko. Potem vrstica User-agent pove, kateri roboti ali roboti morajo slediti temu razdelku datoteke. V zgornjem primeru * predstavlja vse pošto. Naslednji dve vrstici sta dva imenika, ki ju ne želite indeksirati.

Če želite botu omogočiti, da poizveduje vse URL-je na vašem spletnem mestu, vnesite ime bota, ki mu sledi onemogočanje: z prazno vrednostjo, kot je prikazano v spodnjem primeru.

 Uporabniški agent: Somebot *
Disallow: 

Internetni izrazi, meta oznake, robot, izrazi SEO, zemljevid mesta, pogoji spletnega oblikovanja