Beitrag
von Kristian » 24.03.2007, 18:52
Hallo
> Es wird nicht alle Bots treffen. Ich nehme sogar an, dass die meistens Bots
> nicht so intelligent programmiert sind, dass sie Redirects folgen können
Genau andersrum. Die meisten libs auf denen diese "dummen" Bots basieren verfolgen redirects.
Da es aber in der Vergangenheit öfter vorkam das ein Redirect auf ungewollten Content geschah, haben die die es konnten dem Bot den redirect verboten, die anderen haben den Betrieb eingestellt oder sind merkbefreit.
Gruss
Kristian