Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Botzugriffe (zeitlich) beschränken

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Helmi
PostRank 1
PostRank 1
Beiträge: 29
Registriert: 12.03.2005, 23:42
Wohnort: Kissing

Beitrag von Helmi » 12.11.2005, 01:08

Hallo zusammen,

ich dachte ja nicht, dass ich das jemals gebraucht hätte, aber es handelt sich bei meiner Anfrage gar nicht mal primär um die "bösen" Bots sondern eher allgemein.

Gibt es denn Möglichkeiten Zugriffe von Spidern zeitlich einzuschränken - sprich X Zugriffe pro Minute pro Bot oder so. Also Möglichkeiten ohne in jede php-Datei der Seite eine Funktion zu includen die wiederum selbst nen haufen Last frisst.

Es geht dabei um ein größeres Forenprojekt, bei dem der Server regelmässig aufgrund vieler Botzugriffe innerhalb kurzer Zeit "in die Knie" geht.

Danke für Eure Hilfe,

helmi

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


fool
PostRank 5
PostRank 5
Beiträge: 200
Registriert: 28.03.2004, 12:12

Beitrag von fool » 12.11.2005, 08:06

wenns kein böser Bot ist hast du sicher eine UA.
schon mal mit dem Crawl-Delay in der robots.txt
versucht:

z.B.
User-agent: Slurp
Crawl-delay: 20

Gruß
fool

Helmi
PostRank 1
PostRank 1
Beiträge: 29
Registriert: 12.03.2005, 23:42
Wohnort: Kissing

Beitrag von Helmi » 12.11.2005, 14:28

Hi fool,

eine UA?

Nein, den Crawl-Delay hab ich noch nicht probiert. 20 steht hier für sekunden? sprich pro 20 sekunden ein Zugriff?

Danke für die Hilfe,
Helmi

ramfresser
PostRank 3
PostRank 3
Beiträge: 68
Registriert: 20.10.2004, 23:56
Wohnort: Ibbenbüren

Beitrag von ramfresser » 27.03.2007, 01:41

Hallo
Helmi hat geschrieben:Hi fool,

eine UA?

Nein, den Crawl-Delay hab ich noch nicht probiert. 20 steht hier für sekunden? sprich pro 20 sekunden ein Zugriff?

Danke für die Hilfe,
Helmi
Gute Frage für was steht die 20 eigentlich ?

Anonymous

Beitrag von Anonymous » 27.03.2007, 01:59

tz tz tz...

müsst nicht nur Webseiten für Suchmaschinen anfertigen und in den top10 plazieren... sondern könnt die Suchmaschinen auch mal benutzen...

https://www.google.de/search?q=Crawl-delay

:wink:

ramfresser
PostRank 3
PostRank 3
Beiträge: 68
Registriert: 20.10.2004, 23:56
Wohnort: Ibbenbüren

Beitrag von ramfresser » 27.03.2007, 03:28

Hallo
net(t)worker hat geschrieben:tz tz tz...

müsst nicht nur Webseiten für Suchmaschinen anfertigen und in den top10 plazieren... sondern könnt die Suchmaschinen auch mal benutzen...

https://www.google.de/search?q=Crawl-delay

:wink:
Eine kleine Erklärung hier wäre schön gewesen, weil ich bin hier User und nicht auf irgendeiner Seite.

Danke trotzdem.

crilla
PostRank 5
PostRank 5
Beiträge: 218
Registriert: 12.02.2007, 06:52

Beitrag von crilla » 27.03.2007, 11:28

***

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag