alle 3 sekunden ein (sinnloser) request vom google bot

Beitrag von **gaggi** » 26.03.2007, 14:47

Hallo, ich habe da ein kleines problem....

irgendwie hat sich der googlebot jetzt auf meine page verirrt und will nicht wieder weg ^^

undzwar versucht er ständig ohne erkennbaren grund dateien wie "/calendar_scheduler.php?d=1065229200&mode=hour&start=0&sid=963d1afa095883fc7d6e91f5937844dd" es ist immer die "calendar_scheduler.php" mit wechselndem querry. Er lässt sich auch von der robots.txt nicht wirklich beeindrucken.

Eigentlich störts mich nicht wirklich bis darauf das er meine logs ziemlich vollspammt hatte das problem vieleicht schonmal wer und kann mir ein paar tips geben?

von **Anzeige von ABAKUS** »

Beitrag von **DZVO** » 26.03.2007, 15:01

ja das hatte ich auch mal für 3 tage

und zwar hatte ich links ins nirvada geschickt seitdem die links wieder funktionieren ist auch wieder ruhe in den logs also linkstruktur mal anschauen.

Beitrag von **SloMo** » 26.03.2007, 15:03

Welche IP hat der Bot?

von **Anzeige von ABAKUS** »

Beitrag von **Nullpointer** » 26.03.2007, 15:05

er generiert wohl für jeden request eine neue id oder?

Beitrag von **gaggi** » 26.03.2007, 15:14

ja er generiert für jeden request neue id´s, die ip ist jedesmal 66.249.65.116 ich schau mir gerade nochmal alle links an aber ich bin mir ziemlich sicher das alle funktionieren

Beitrag von **oldInternetUser** » 26.03.2007, 15:15

Poste mal die robots.txt, wahrscheinlich ist die fehlerhaft.

Beitrag von **gaggi** » 26.03.2007, 15:20

Also die links hab ich schnell mal durchgeklickt die funktionieren alle

die robots txt sieht so aus:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /calendar_
Disallow&#58; /view/
Disallow&#58; /print-
Disallow&#58; /bigpic
Disallow&#58; /password-
Disallow&#58; /register-
Disallow&#58; /de/bigpic
Disallow&#58; /en/bigpic
Disallow&#58; /fr/bigpic
Disallow&#58; /de/service/complain-
Disallow&#58; /en/service/complain-
Disallow&#58; /fr/service/complain-
Disallow&#58; /de/service/request-
Disallow&#58; /en/service/request-
Disallow&#58; /fr/service/request-

das "Disallow: /calendar_" ignoriert er übrigens auch...

Beitrag von **seo-theo** » 26.03.2007, 15:33

Disallow: /calendar_scheduler,
Disallow: /calendar_scheduler.php

Beitrag von **gaggi** » 26.03.2007, 15:40

hab die robots.txt geändert aber er macht immernoch weiter... er hat übrigens gerade eben die 1000er marke überschritten

Beitrag von **Anonymous** » 26.03.2007, 15:46

dann wird er die wohl noch nicht gelesen haben...

Beitrag von **gaggi** » 26.03.2007, 15:51

dann heißt es wohl erstmal abwarten und tee trinken ich geh jetzt auch erstmal nervenschonen und leg mich ein bisschen in der garten das hier ist garnicht gut für meine nerven ^^

danke euch allen ich geb nochmal morgen bescheid falls es aufgehört hat ^^

Beitrag von **gaggi** » 26.03.2007, 19:20

als ich gerade nochmal in die logs geschaut hab (draussen isses ja arsch kalt geworde als die sonne weg war) hab ich endlich des rätsels lösung gefunden .....
google wollte garnicht die seite crawlen sondern eine andere seite die auf der selben ip liegt.... da läuft so ein phpbb+ und aus irgendeinem grund hat google wohl die richtigen urls auf der falschen domain gecrawlt...

Beitrag von **Tobias Claren** » 01.05.2007, 00:10

Hallo.

Ich habe exakt das gleiche Problem!
Die gleiche Datei.
Aber ich merkte das nicht. Wie auch. Mit so etwas muss ich ja nicht rechnen.
Im Februar über 5GB Volumenüberschreitung und jetzt im März nochmal über 25GB! Zusammen über 300 Euro Kosten!
Das ist eine DoS-Atakke meine ich! Auch wenn es kein Vorsatz ist, müssten Google für so etwas haftbar sein.
Normale Nutzung, OK. Da würde ich nichts sagen wenn jemand die Seite normal abruft oder ein Suchroboter mal vorbeischaut.
Aber dass hier ist ja wohl in keinster Weise gerechtfertigt.
Muss ich Strafanzeige wegen Computersabotage erstatten wenn die nicht zahlen wollen? Eine Bestätigung dass dies auch bei jemand anderem vorkam wäe da hilfreich. "Gaggi" kann es ja bezeugen.
Obwohl die Fakten bei mir schon reichen sollten, da so etwas wohl mit nichts zu rechtfertigen ist.
Ich habe die Rechnungen und die Abruflogs die nur den GoogleBot als Verursacher zeigen (99,x % Transfer nur durch Google auf diese eine Datei).

Beitrag von **Anonymous** » 01.05.2007, 02:10

Tobias Claren hat geschrieben:...
...
Im Februar über 5GB Volumenüberschreitung und jetzt im März nochmal über 25GB! Zusammen über 300 Euro Kosten!
Das ist eine DoS-Atakke meine ich! Auch wenn es kein Vorsatz ist, müssten Google für so etwas haftbar sein....
....
....

Naja, man sollte sich Verträge auch genau durchlesen, bevor man sie abschliesst.... und dann natürlich auch Preise vergleichen.... Trafficpreise von 10€ pro GB, ab besten in Verbindung mit einem minimalen Inklusivtraffic, und natürlich keine Traffickontrolle mit Warnung beim Überschreiten einer Grenze.... sowas is ne nette "Goldgrube" für nen Hoster...
übliche Preise für Traffic liegen heutzutage bei 0,5 - 1 € pro GB....

Beitrag von **To-Bi-As** » 01.05.2007, 03:23

@net(t)worker
Da gebe ich Dir recht, das ist viel zu teuer, aber es geht auch ums Prinzip.

Der Google Bot verursacht schon sehr oft traffik der nicht sein müßte. Wenn man schon z.B. nan Header 404 oder sogar 410 sendet, warum kommt der den tagelang wieder und ruft die Seite ab? Wobei, mit Fehlerseiten erreiche ich bei weitem nicht den Traffik, aber Serverbelastung ist es dennoch.

Das Prob bei mir ist, dass irgenwelche Seiten, Systeme, Scripte, fehlerhafte Seiten/ Links erzeugen. Google folgt denen aber immer brav und bekommt von mit nen 404. Das reicht dem aber nicht, das geht die nächsten 7 Tage so weiter bis der das endlich mal kappiert.

Gruß.