Soubor robots.txt umístěný v kořeni webu říká vyhledávačům a botům, které části webu mají a nemají procházet. Slouží především k zamezení indexace administrace, duplicitních stránek, filtrů v eshopu nebo testovacích sekcí. Robots.txt ale není bezpečnostní opatření – obsah v něm uvedený zůstává veřejně dostupný, jen se v něm prosí o jeho ignorování. K plnohodnotné kontrole indexace slouží meta tag robots a HTTP hlavička X-Robots-Tag.
Weby, aplikace a eshopy na míru