Crawler web

In ambito informatico si definisce Crawler web (oppure spider o robot) quel programma che fa un'analisi dettagliata dei contenuti di una rete o di un database in maniera automatizzata. Di solito un crawler web appartiene ad un motore di ricerca. Il motore di ricerca fornisce al programma una serie di indirizzi (URL) da visitare: lo spider di Google si chiame googlebot. Il crawler raccoglie informazioni, percorre la rete in cerca di dati e crea un database di risorse.