Der 2.1er Bot grasst grad alles ab, was er findet......

Beitrag von **shapeshifter** » 11.08.2005, 10:41

Deep-Crawl - noch jemand ?

von **Anzeige von ABAKUS** »

Beitrag von **Konrad Wolfenstein** » 11.08.2005, 10:47

Yep, egal wohin man guggt, der versperrt die Sicht...

Beitrag von **Wally** » 11.08.2005, 11:30

ja, der hat sich festgesaugt......

Beitrag von **SUNS** » 11.08.2005, 11:52

Hoi,
der Bot geht ab wie nix.
ca. 1300 Hits in den letzten 20 Minuten

Beitrag von **lala** » 11.08.2005, 12:23

Wie erkennt Ihr das? Was muss ich da in meinen logfiles nachschauen?

Beitrag von **shapeshifter** » 11.08.2005, 12:34

pphlogger - da sieht man das immer live !
In den normalen server-logs kannst Du das erst sehen, wenn sie geschrieben werden. In normalen Hosting-Paketen ist das allerdings meist nur 1x täglich (nachts) der Fall.

Beitrag von **bull** » 11.08.2005, 12:46

In normalen Hosting-Paketen ist das allerdings meist nur 1x täglich (nachts) der Fall.

Wenn man keinen Hoster mit (fast-)Echtzeit-Apache-Logs hat, sollte man ihn wechseln.
1x täglich gibts nur bei Saftläden.

Beitrag von **lala** » 11.08.2005, 12:56

Bläht das die Datenbank auf oder kann man das irgendwie beschränken (auf Tage oder so)?

Beitrag von **shapeshifter** » 11.08.2005, 13:02

@Bull
Wenn man in der Lage ist, alternative Möglichkeiten wahrzunehmen - und diese direkt mit eigenen SQL-Anfragen auswerten zu können, ist man umständlichen Wechseln weit vorraus und macht den "Saftladen" zur Einkaufs-Mall.

Ausserdem - "fast" reichte mir noch nie

Beitrag von **linux** » 11.08.2005, 13:26

@lala
mysql innodb ohne rollback und anderen funktionen. die sollte so ca 10 gb an daten aushalten bei nem celeron 2.4 z.b strato

das sollte zum auswerten reichen, sonst macht noch die einen timestamp und lösch mim script alle die älter als x sind

gruß

linux

Beitrag von **Armi** » 11.08.2005, 13:52

Also bei mir ist seit Tagen der Mozilla Bot extrem aktiv - schmeißt aber viele Seiten raus

Beitrag von **linux** » 11.08.2005, 14:21

habt ihr alle die sitemap benutzt? bei mir ist der deep bot immer nur mit einer ip gekommen

gruß

linux

Beitrag von **shapeshifter** » 11.08.2005, 14:24

Beitrag von **ts77** » 11.08.2005, 14:35

Was ist denn der "deep bot"?
Also bei mir beschäftigt sich nur der Mozilla-Bot mit den Seiten, aber dafür kräftig

.

Beitrag von **shapeshifter** » 11.08.2005, 14:44

linux meint wohl den bot, welcher auf die google-sitemaps reagiert und anhand dieser eine Seite indiziert - ich selbstnutz das Ding allerdings nicht. Ich lass das erst mal bis zum Ende des Jahres laufen und schau´s mir dann wieder an. Kann mir nicht vorstellen, dass da kein Unterschied zu natürlich gespiderten Seiten ist oder besser gesagt "gemacht wird".