# Diese Datei dient zur Indexierung durch Suchmaschinen # tragen Sie hier bitte immer den Domainnamen und das Aktualisierungsdatum ein. # robots.txt for http://www.domainname.tld/ # file created: 17.05.2010 # file updated: 17.05.2010 # Hier tragen Sie Verzeichnisse ein die explizit von der Indexierung ausgeschlossen werden sollen # und auch Verzeichnisse die explizit eingeschlossen werden sollen. # Wichtig ist das Sie einmal den Eintrag für den User-agent: * (alle Suchmaschinen) machen und den # selben Eintrag nochmals explizit für Google (User-agent: googlebot) da dieser eine Sonderbehandlung haben möchte! # # Mit "Disallow: /Verzeichnisname" verweigern Sie den Zugriff auf ein Verzeichnis # Mit "Allow: /Verzeichnisname" erlauben Sie den Zugriff auf ein Verzeichnis User-agent: * # Disallow: /cgi-bin/ # exclude robots from specified tree # Disallow: /scripts/ # Allow: / Disallow: /cgi-bin/ Disallow: /images/ User-agent: googlebot # Disallow: /cgi-bin/ # exclude robots from specified tree # Disallow: /scripts/ # Allow: / Disallow: /cgi-bin/ Disallow: /images/