Soubor robots.txt
Textový soubor robots.txt je velmi důležitým on-page faktorem webových stránek. Weboví vývojáři do něj zapisují pravidla pro vyhledávací roboty, která určují, v jakém rozsahu mohou či nemohou roboti www stránku procházet a tzv. indexovat (ukládat kopie webů do svých interních databázi).
Obsah souboru robots.txt:
// znak hvězdičky říká, že pravidlo platí pro všechny roboty
User-agent: *
// roboti mají zakázáno indexovat adresář 'admin'
Disallow: /admin/
// roboti mají zakázáno indexovat URL adresy '/katalog ...'
Disallow: /katalog
// cesta k souboru sitemap.xml
Sitemap: http://www.example.com/sitemap.xml
