Ein Crawler, auch bekannt als Spider oder Bot, ist ein Programm, das automatisch das Internet durchsucht und Informationen von Webseiten indiziert, die später von Suchmaschinen verwendet werden können.
