Yahoo aussperren

Beitrag von **SoCkEnRoCkEn** » 11.03.2007, 18:31

Hallo Leute,

ich will den Yahoo bot von meiner Seite aussperren, bzw. dass er mich nicht mehr so oft besucht. Sind eigentlich rund um die Uhr mehr als 10 Bots von Yahoo bei mir online.
was für einen eintrag in der robots.txt muss ich da machen? oder ghet ddas nur über .htaccess?

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 11.03.2007, 18:45

Sofern Dir durch Slurp nicht Performanceprobleme oder Traffickosten entstehen, kann ich das Anliegen nicht nachvollziehen. Ansonsten:

Code: Alles auswählen

User-agent&#58; Slurp
Disallow&#58; /

Der Bot wird in diesem Falle weiterhin sich die robots.txt holen. Vielleicht inspiriert auch ein Blick auf Crawl-delay bei Slurp

Beitrag von **ramfresser** » 13.03.2007, 18:12

Tja speeren möchte ich die Jungs von Yahoo nicht, aber wie kann man es hin bekommen, das die blöden Robots nicht tonnenweise auf Themen rum turnen, die schon 2 Jahre und älter sind ?

Traffic kein Problem, aber mein Server macht das nicht mehr lange mit wenn die Robots wie in der letzten Zeit immer mehr werden.

Wie kann ich Yahoo dazu bekommen nur auf Themen zu gehen, die entweder neu sind oder wo eine Antwort drauf gepostet wurde ?

Beitrag von **Valid Webdesigner** » 21.03.2007, 17:57

Du könntest in der robots.txt die alten Themen einzeln ausschließen wenn dir das möglich ist (aufgrund der Anzahl).

Beitrag von **Nullpointer** » 21.03.2007, 21:11

bull hat doch den link zum delay gepostet....