Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

wenn die robots.txt nicht befolgt wird?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
800XE
PostRank 10
PostRank 10
Beiträge: 5223
Registriert: 02.12.2004, 03:03

Beitrag von 800XE » 17.01.2005, 06:33

Hallo,

ich habe mich das Wochenende hier rumgetrieben und einiges gelernt.

Bisher hatte ich keine robots.txt,
#1 - weil ich keinen aussperen wolte
#2 - weil ich mißtrauisch bin das die sich ausperen lassen
jetzt habe ich eine.

Bis Gestern wurde aber doch eine "Ausgeliefer", durch meine htacces "errordoc ...." war es aber die Startseite.
Jetzt ist es eine korekte robots.txt, die zwar auch per PHP generiert wird (dadurch kann ich loggen ob sie gelesen wurde und dann schauen ab der bot noch anderes gespidert hat obwohl ichs ihm verboten habe).
Also es ist eine PHP, mit header text/plain

Für die ersten Tests habe ich den msnbot Disalow
https://www.800xe.de/robots.txt

Code: Alles auswählen

User-agent: msnbot
Disallow: /
Meine Frage:[b/]
Wenn ich einen Verboten habe und er trotzdem die Seiten Spidert
Was soll ich dann machen
Einfach eine leere Seite senden (nul garnix = echo(" "); )

oder einen extra Header (natürlich gefolgt von einer leeren Seite)
Wenn einen Header, welchen?
404?

irgentwelche Dinge in der htacces werd ich da nicht machen
(mit der steh ich etwas auf Kriegsfuß, das was ich will macht sie nicht, deswegen prüfe ich später in der index.php die REQUEST-URI und mach mir quasie ne eigene rewrite Engine)

Gruß
Andy 800XE Zmuda