Det finns två olika sätt att styra vadsom sökmotorernas robotar hämtar. Man kan skapa en speciell fil, robots.txt, i rooten på webbplatsen, om man av någon anledning inte kan eller vill göra detta så går det att i koden lägga in sk META-taggar som styr robotarna.
Robots.txt
Alla ordentliga sökrobotar skall följa "the robot exclusion standard", denna reglerar hur man talar om för en robot vad den INTE skall hämta. En robots.txt fil består av ett antal excluderings block på formen:
user-agent: robotnamn
disallow: /sökväg
Om man till exempel inte vill att sökotorerna skall indexer bilder i katalogen /images kan man skapa en robots.txt med innehållet
user-agent: *
disallow: /images
META-taggar
Ett alternativ till robots.txt är att man placerar META-taggar inom HEAD på webbsidan. Vill man att robotar varken skall indexera innehållet på sidan eller följa några länkar lägger man in följande tag:
<meta name="robots" content="noindex,nofollow">