ABAKUS

Hi,

wie kann ich eine php-Datei z.B.
meinedatei.php
für die Robots sperren?

Die Datei liegt im Verzeichnis /abc/def/
Ich hab in der robots.txt folgendes stehen:

Disallow: /abc/def/meinedatei.php?*
Disallow: /meinedatei.php?*

Leider wird trotzdem gespidert.
Kann mir jmd. einen Tipp geben?
Danke.

seo-oes hat geschrieben:wie kann ich eine php-Datei z.B. meinedatei.php für die Robots sperren? Die Datei liegt im Verzeichnis /abc/def/

Disallow: /abc/def/meinedatei.php?*
Disallow: /meinedatei.php?*

Leider wird trotzdem gespidert

Wozu hast du das Sternchen am Ende? Als Platzhalter wird es von den wenigsten Suchmaschinen (wenn auch größten) unterstützt und technisch ist es nutzlos, weil die Muster eh am Ende offen sind, also grundsätzlich lediglich geprüft wird, ob das Muster mit dem Anfang einer URL übereinstimmt. /xy passt beispielsweise auf alles, was mit /xy anfängt: /xy wie auch /xyz, /xy/z, /xy?bla, /xy/z/bla?fasel, usw. Ein Sternchen braucht es dazu nicht.

Und auch das Fragezeichen ist überflüssig, um nicht zu sagen hinderlich, es sei denn, du willst tatsächlich nur Aufrufe von meinedatei.php ausschließen, die über URL-Parameter verfügen, meinedatei.php selbst, ohne Parameter, aber indiziert haben. /xy? sperrt /xy?bla und /xy?fasel aus, aber nicht /xy oder /xy/z.

Disallow: /meinedatei.php wiederum kann überhaupt nicht funktionieren, denn die Datei liegt schließlich in /abc/def/, nicht im Wurzelverzeichnis /.

Kurzum: Die Zeile

Disallow: /abc/def/meinedatei.php

alleine sollte bei allen ordentlichen Suchmaschinen zum gänzlichen Ignorieren führen.

Korrekt.

Vielen Dank die Erklärung hat Klarheit geschafft!