Crawler (bot wyszukiwarki, pająk, robot indeksujący) jest to program (algorytm) mający za zadanie analizę oraz ocenę stron WWW w celu ich indeksowania oraz rankingowania w wynikach wyszukiwania. Roboty te mają za zadanie analizę kodu oraz skryptów witryny, badanie treści zawartej na stronie (tekst, grafiki, linki itd.), gromadzenie przydatnych użytkownikom informacji oraz sprawdzanie aktualizacji witryn dostępnych w Internecie.
