Robots.txt

Robots.txt ist eine Textdatei, die zu einer Gruppe von Webprotokollen namens Robots Exclusion Protocol oder REP gehört. Diese Datei weist Suchmaschinen-Bots wie Googlebots an, welche Seiten gecrawlt und indexiert werden sollen. Robot.txt hilft Websites, nicht mit zu vielen Anfragen bombardiert zu werden. Es spielt eine große Rolle bei einem guten SEO-Score.