Eine Datei auf Webservern, die Suchmaschinen-Crawlern (Bots) Anweisungen gibt, welche Bereiche einer Website sie indizieren dürfen und welche nicht. Dies hilft, den Crawler-Verkehr auf der Website effektiv zu steuern.
