ABAKUS

Hallo zusammen,

ich dachte ja nicht, dass ich das jemals gebraucht hätte, aber es handelt sich bei meiner Anfrage gar nicht mal primär um die "bösen" Bots sondern eher allgemein.

Gibt es denn Möglichkeiten Zugriffe von Spidern zeitlich einzuschränken - sprich X Zugriffe pro Minute pro Bot oder so. Also Möglichkeiten ohne in jede php-Datei der Seite eine Funktion zu includen die wiederum selbst nen haufen Last frisst.

Es geht dabei um ein größeres Forenprojekt, bei dem der Server regelmässig aufgrund vieler Botzugriffe innerhalb kurzer Zeit "in die Knie" geht.

Danke für Eure Hilfe,

helmi

wenns kein böser Bot ist hast du sicher eine UA.
schon mal mit dem Crawl-Delay in der robots.txt
versucht:

z.B.
User-agent: Slurp
Crawl-delay: 20

Gruß
fool

Hi fool,

eine UA?

Nein, den Crawl-Delay hab ich noch nicht probiert. 20 steht hier für sekunden? sprich pro 20 sekunden ein Zugriff?

Danke für die Hilfe,
Helmi

Hallo

Helmi hat geschrieben:Hi fool,

eine UA?

Nein, den Crawl-Delay hab ich noch nicht probiert. 20 steht hier für sekunden? sprich pro 20 sekunden ein Zugriff?

Danke für die Hilfe,
Helmi

Gute Frage für was steht die 20 eigentlich ?

tz tz tz...

müsst nicht nur Webseiten für Suchmaschinen anfertigen und in den top10 plazieren... sondern könnt die Suchmaschinen auch mal benutzen...

https://www.google.de/search?q=Crawl-delay

Hallo

net(t)worker hat geschrieben:tz tz tz...

müsst nicht nur Webseiten für Suchmaschinen anfertigen und in den top10 plazieren... sondern könnt die Suchmaschinen auch mal benutzen...

https://www.google.de/search?q=Crawl-delay

Eine kleine Erklärung hier wäre schön gewesen, weil ich bin hier User und nicht auf irgendeiner Seite.

Danke trotzdem.

***