Was ist eine Robots.txt?

Die Datei robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen anweist, welche Bereiche der Website nicht gecrawlt und indexiert werden sollen. Durch die Angabe von "Disallow"-Regeln können Webmaster steuern, welche Informationen öffentlich durch Suchmaschinen zugänglich gemacht werden. Dies hilft, den Crawlverkehr zu steuern, Serverressourcen zu schonen und sensible Bereiche der Website vor öffentlicher Indexierung zu schützen.