Bot, crawler, spider
Termíny bot, crawler či spider je označován vyhledávací robot, který postupně navštěvuje všechny weby umístěné na síti Internet a indexuje (ukládá si) jejich obsah nebo zvolené části, např. obrázky, videa apod.
Ve skutečnosti se však jedná o naprogramovaný kód, napojený na databázi, která obsahuje seznam známých internetových stránek. Tento kód si stránky postupně načítá a poté si ukládá data, která potřebuje.
Největší společnosti, které provozují takové vyhledávací roboty (Google, Bing, Yahoo, v tuzemsku Seznam), mají zároveň dostupné fulltextové vyhledávání, ve kterém uživatelům Internetu nabízejí hledání stránek, které si v minulosti díky robotům zaindexovaly. Vyhledávání probíhá na základě nejrelevantnější shody zadaného klíčového slova uživatelem a obsahu zaindexovaných www stránek.
