robots.txt für TYPO3?
Verfasst: 08.11.2007, 10:40
Hallo zusammen,
bei TYPO3 werden ja alle unbekannten Links auf die Startseite aufgelöst, also kein 404 Fehler.
Folglich wird als robots.txt die Startseite ausgeliefert.
Das kann man auch in den Webmaster Tools von Google sehen.
Was machen Bots mit einer derartigen Datei?
Ich vermute mal ignorieren, da ja keine gültige Anweisung drin steht.
Macht daher die folgende robots.txt Sinn:
Wird dadurch evtl. die Zugriffsstatistik korrigiert?
Grüße
Jo
bei TYPO3 werden ja alle unbekannten Links auf die Startseite aufgelöst, also kein 404 Fehler.
Folglich wird als robots.txt die Startseite ausgeliefert.
Das kann man auch in den Webmaster Tools von Google sehen.
Was machen Bots mit einer derartigen Datei?
Ich vermute mal ignorieren, da ja keine gültige Anweisung drin steht.
Macht daher die folgende robots.txt Sinn:
Code: Alles auswählen
User-agent: *
Disallow: /fileadmin/
Disallow: /t3lib/
Disallow: /typo3/
Disallow: /typo3_src/
Disallow: /typo3conf/
Disallow: /typo3temp/
Disallow: /uploads/Grüße
Jo