meine Robots.txt bereitet mir arges Kopfzerbrechen.
Da unsere Webseite zu umfabgreich wurde haben wir seit einiger zeit daran gearbeitet sie auf ein Datenbanksystem umzustellen und gestern Abend auch hochgeladen.
Da durch das neue System die alten Seiten nicht mehr existieren (ich weiss, nicht unbedingt ideal), habe ich eine robots.txt mit folgendem Inhalt angelegt:
Dadurch werden Besucher die in Sumas noch eine alte Seite finden auf die Startseite weitergeleitet.ErrorDocument 404 https://www.domain.de
Jetzt gerade habe ich die robots.txt ergänzt. Ich wollte ein Verzeichnis sperren.
Jetzt sieht die robots.txt so aus:
Allerdings meldet die Seite dann beim Aufruf "Error 500". Woran kann das liegen?ErrorDocument 404 https://www.domain.de
User-agent: *
Disallow: /cgi/
User-agent: googlebot
Disallow: /cgi/
Viele Grüsse
Ole