google ignoriert robots.txt

[Tiefenrausch]

Erst das lesen:

robots.txt - Robots kontrollieren

Dann das lesen:

Robots.txt Deluxe – Die Erweiterungen, die Google unterstützt

Und erst dann an der eigenen robots.txt rumpfuschen.

Gruß

[Holger Grintz]

ok, danke, habe ich mir durchgelesen.
Ich habe jetzt alle php-Dateien "disallowed", so müsste es doch funktionieren, oder?

User-agent: Googlebot
Disallow: /*.php$

[Tiefenrausch]

Vom Prinzip her ist das korrekt.

Ich bin zwar kein PHP-Experte, habe ich nie gebraucht, aber sperrst du damit nicht auch die index.php auf der Startseite, also die gesamte Webseite für die robots aus???

Ich kenne deine Seite nicht, aber ich glaube, so ist das ganz falsch.

Ich würde denken, dass das die richtige Lösung ist:

User-agent: *
Disallow: /forum/calendar.php
Disallow: /forum/members/

[Holger Grintz]

So hatte ich es ja am Anfang auch (siehe 2 Beiträge vorher).

Ich denek, es geht ohne php-Seiten, weil statische html-Seiten zu jeder php-Seite (ausser Suche/Registrierung etc.) generiert werden.
Also alles, was relevanten content hat, ist *.html

Ich schaue mal, was passiert, und lasse es erst einmal so

Vielen Dank nochmal für den Tipp mit dem $

[Tiefenrausch]

So hatte ich es ja am Anfang auch (siehe 2 Beiträge vorher).

Nee nee, bei Members hat der Schrägstrich gefehlt. Zitat: "Achten Sie darauf, bei Verzeichnispfaden einen abschließenden Schrägstrich / zu notieren."

Und das hier war auch falsch:

Disallow: /forum/calendar.php?do=displayweek&c=1&week=*

Zitat: "Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt." (Gilt nicht für Googlebot.)