ABAKUS

Deep-Crawl - noch jemand ?

Yep, egal wohin man guggt, der versperrt die Sicht...

ja, der hat sich festgesaugt......

Hoi,
der Bot geht ab wie nix.
ca. 1300 Hits in den letzten 20 Minuten

Wie erkennt Ihr das? Was muss ich da in meinen logfiles nachschauen?

pphlogger - da sieht man das immer live !
In den normalen server-logs kannst Du das erst sehen, wenn sie geschrieben werden. In normalen Hosting-Paketen ist das allerdings meist nur 1x täglich (nachts) der Fall.

In normalen Hosting-Paketen ist das allerdings meist nur 1x täglich (nachts) der Fall.

Wenn man keinen Hoster mit (fast-)Echtzeit-Apache-Logs hat, sollte man ihn wechseln.
1x täglich gibts nur bei Saftläden.

Bläht das die Datenbank auf oder kann man das irgendwie beschränken (auf Tage oder so)?

@Bull
Wenn man in der Lage ist, alternative Möglichkeiten wahrzunehmen - und diese direkt mit eigenen SQL-Anfragen auswerten zu können, ist man umständlichen Wechseln weit vorraus und macht den "Saftladen" zur Einkaufs-Mall.

Ausserdem - "fast" reichte mir noch nie

@lala
mysql innodb ohne rollback und anderen funktionen. die sollte so ca 10 gb an daten aushalten bei nem celeron 2.4 z.b strato

das sollte zum auswerten reichen, sonst macht noch die einen timestamp und lösch mim script alle die älter als x sind


gruß

linux

Also bei mir ist seit Tagen der Mozilla Bot extrem aktiv - schmeißt aber viele Seiten raus

habt ihr alle die sitemap benutzt? bei mir ist der deep bot immer nur mit einer ip gekommen


gruß

linux

nö

Was ist denn der "deep bot"?
Also bei mir beschäftigt sich nur der Mozilla-Bot mit den Seiten, aber dafür kräftig .

linux meint wohl den bot, welcher auf die google-sitemaps reagiert und anhand dieser eine Seite indiziert - ich selbstnutz das Ding allerdings nicht. Ich lass das erst mal bis zum Ende des Jahres laufen und schau´s mir dann wieder an. Kann mir nicht vorstellen, dass da kein Unterschied zu natürlich gespiderten Seiten ist oder besser gesagt "gemacht wird".