wenn die robots.txt nicht befolgt wird?
Verfasst: 17.01.2005, 06:33
Hallo,
ich habe mich das Wochenende hier rumgetrieben und einiges gelernt.
Bisher hatte ich keine robots.txt,
#1 - weil ich keinen aussperen wolte
#2 - weil ich mißtrauisch bin das die sich ausperen lassen
jetzt habe ich eine.
Bis Gestern wurde aber doch eine "Ausgeliefer", durch meine htacces "errordoc ...." war es aber die Startseite.
Jetzt ist es eine korekte robots.txt, die zwar auch per PHP generiert wird (dadurch kann ich loggen ob sie gelesen wurde und dann schauen ab der bot noch anderes gespidert hat obwohl ichs ihm verboten habe).
Also es ist eine PHP, mit header text/plain
Für die ersten Tests habe ich den msnbot Disalow
https://www.800xe.de/robots.txt
Meine Frage:[b/]
Wenn ich einen Verboten habe und er trotzdem die Seiten Spidert
Was soll ich dann machen
Einfach eine leere Seite senden (nul garnix = echo(" "); )
oder einen extra Header (natürlich gefolgt von einer leeren Seite)
Wenn einen Header, welchen?
404?
irgentwelche Dinge in der htacces werd ich da nicht machen
(mit der steh ich etwas auf Kriegsfuß, das was ich will macht sie nicht, deswegen prüfe ich später in der index.php die REQUEST-URI und mach mir quasie ne eigene rewrite Engine)
Gruß
Andy 800XE Zmuda
ich habe mich das Wochenende hier rumgetrieben und einiges gelernt.
Bisher hatte ich keine robots.txt,
#1 - weil ich keinen aussperen wolte
#2 - weil ich mißtrauisch bin das die sich ausperen lassen
jetzt habe ich eine.
Bis Gestern wurde aber doch eine "Ausgeliefer", durch meine htacces "errordoc ...." war es aber die Startseite.
Jetzt ist es eine korekte robots.txt, die zwar auch per PHP generiert wird (dadurch kann ich loggen ob sie gelesen wurde und dann schauen ab der bot noch anderes gespidert hat obwohl ichs ihm verboten habe).
Also es ist eine PHP, mit header text/plain
Für die ersten Tests habe ich den msnbot Disalow
https://www.800xe.de/robots.txt
Code: Alles auswählen
User-agent: msnbot
Disallow: /
Wenn ich einen Verboten habe und er trotzdem die Seiten Spidert
Was soll ich dann machen
Einfach eine leere Seite senden (nul garnix = echo(" "); )
oder einen extra Header (natürlich gefolgt von einer leeren Seite)
Wenn einen Header, welchen?
404?
irgentwelche Dinge in der htacces werd ich da nicht machen
(mit der steh ich etwas auf Kriegsfuß, das was ich will macht sie nicht, deswegen prüfe ich später in der index.php die REQUEST-URI und mach mir quasie ne eigene rewrite Engine)
Gruß
Andy 800XE Zmuda
