Hihawai hat geschrieben:Die wollen die Aktualität der Webseiten - aller Webseiten - protokollieren und auswerten. Dazu rennt der Robot alle 6 Stunden über die Seiten. Wenn man das nicht möchte, kann man im robots.txt ...
... und ich drucke mir gleich
sämtliche Webseiten aus. Alle 6 Stunden. Wer das nicht möchte, kann seine Seiten vorher aus dem Netz nehmen.
Wieviele Idiotenbots brauchen wir noch? Wie empfänden es die "Forscher" an der Waseda Universität, wenn sich Tausende einen speziellen Waseda-Bot installieren, der fortlaufend die Aktualität und Erreichbarkeit der Universitätsseiten prüft?
Im Abstand von 6 Stunden, also alle 21600 Sekunden überprüfen die Japaner jede einzelne Internetseite. Die Leitung glüht. Sollten 21599 andere Forscher ebenfalls auf diese äußerst intelligente Idee kommen, hätte jede Seite zu jeder Sekunde Besuch. Interessant wird dieser Botfraß bei einer Botmenge von sagen wir 2.160.000, wobei jeder Bot lediglich alle 6 Stunden vorbeischaut. Bei durchschnittlich 100 Anfragen pro Sekunde sind viele (Shared-Server-)Internetpräsenzen überlastet. 2 Mio Bots sind aber noch sehr wenig, wenn man sich die Anzahl der Internetnutzer vor Augen hält. Will nicht jeder von uns seinen eigenen, verbesserten Google-Suchservice starten, einer P2P-Suchmaschine helfen oder unter die Forscher gehen? :lol!:
