Seite 1 von 1
Yahoo aussperren
Verfasst: 11.03.2007, 18:31
von SoCkEnRoCkEn
Hallo Leute,
ich will den Yahoo bot von meiner Seite aussperren, bzw. dass er mich nicht mehr so oft besucht. Sind eigentlich rund um die Uhr mehr als 10 Bots von Yahoo bei mir online.
was für einen eintrag in der robots.txt muss ich da machen? oder ghet ddas nur über .htaccess?
Verfasst: 11.03.2007, 18:45
von bull
Sofern Dir durch Slurp nicht Performanceprobleme oder Traffickosten entstehen, kann ich das Anliegen nicht nachvollziehen. Ansonsten:
Der Bot wird in diesem Falle weiterhin sich die robots.txt holen. Vielleicht inspiriert auch ein Blick auf
Crawl-delay bei Slurp
Verfasst: 13.03.2007, 18:12
von ramfresser
Tja speeren möchte ich die Jungs von Yahoo nicht, aber wie kann man es hin bekommen, das die blöden Robots nicht tonnenweise auf Themen rum turnen, die schon 2 Jahre und älter sind ?
Traffic kein Problem, aber mein Server macht das nicht mehr lange mit wenn die Robots wie in der letzten Zeit immer mehr werden.
Wie kann ich Yahoo dazu bekommen nur auf Themen zu gehen, die entweder neu sind oder wo eine Antwort drauf gepostet wurde ?
Verfasst: 21.03.2007, 17:57
von Valid Webdesigner
Du könntest in der robots.txt die alten Themen einzeln ausschließen wenn dir das möglich ist (aufgrund der Anzahl).
Verfasst: 21.03.2007, 21:11
von Nullpointer
bull hat doch den link zum delay gepostet....
