Seite 1 von 2
alle 3 sekunden ein (sinnloser) request vom google bot
Verfasst: 26.03.2007, 14:47
von gaggi
Hallo, ich habe da ein kleines problem....
irgendwie hat sich der googlebot jetzt auf meine page verirrt und will nicht wieder weg ^^
undzwar versucht er ständig ohne erkennbaren grund dateien wie "/calendar_scheduler.php?d=1065229200&mode=hour&start=0&sid=963d1afa095883fc7d6e91f5937844dd" es ist immer die "calendar_scheduler.php" mit wechselndem querry. Er lässt sich auch von der robots.txt nicht wirklich beeindrucken.
Eigentlich störts mich nicht wirklich bis darauf das er meine logs ziemlich vollspammt hatte das problem vieleicht schonmal wer und kann mir ein paar tips geben?
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
Verfasst: 26.03.2007, 15:01
von DZVO
ja das hatte ich auch mal für 3 tage
und zwar hatte ich links ins nirvada geschickt seitdem die links wieder funktionieren ist auch wieder ruhe in den logs also linkstruktur mal anschauen.
Verfasst: 26.03.2007, 15:03
von SloMo
Welche IP hat der Bot?
Verfasst: 26.03.2007, 15:05
von Nullpointer
er generiert wohl für jeden request eine neue id oder?
Verfasst: 26.03.2007, 15:14
von gaggi
ja er generiert für jeden request neue id´s, die ip ist jedesmal 66.249.65.116 ich schau mir gerade nochmal alle links an aber ich bin mir ziemlich sicher das alle funktionieren
Verfasst: 26.03.2007, 15:15
von oldInternetUser
Poste mal die robots.txt, wahrscheinlich ist die fehlerhaft.
Verfasst: 26.03.2007, 15:20
von gaggi
Also die links hab ich schnell mal durchgeklickt die funktionieren alle
die robots txt sieht so aus:
Code: Alles auswählen
User-agent: *
Disallow: /calendar_
Disallow: /view/
Disallow: /print-
Disallow: /bigpic
Disallow: /password-
Disallow: /register-
Disallow: /de/bigpic
Disallow: /en/bigpic
Disallow: /fr/bigpic
Disallow: /de/service/complain-
Disallow: /en/service/complain-
Disallow: /fr/service/complain-
Disallow: /de/service/request-
Disallow: /en/service/request-
Disallow: /fr/service/request-
das "Disallow: /calendar_" ignoriert er übrigens auch...
Verfasst: 26.03.2007, 15:33
von seo-theo
Disallow: /calendar_scheduler,
Disallow: /calendar_scheduler.php
Verfasst: 26.03.2007, 15:40
von gaggi
hab die robots.txt geändert aber er macht immernoch weiter... er hat übrigens gerade eben die 1000er marke überschritten
Verfasst: 26.03.2007, 15:46
von Ehemalige Nutzer Z
dann wird er die wohl noch nicht gelesen haben...
Verfasst: 26.03.2007, 15:51
von gaggi
dann heißt es wohl erstmal abwarten und tee trinken ich geh jetzt auch erstmal nervenschonen und leg mich ein bisschen in der garten das hier ist garnicht gut für meine nerven ^^
danke euch allen ich geb nochmal morgen bescheid falls es aufgehört hat ^^
gelöst
Verfasst: 26.03.2007, 19:20
von gaggi
als ich gerade nochmal in die logs geschaut hab (draussen isses ja arsch kalt geworde als die sonne weg war) hab ich endlich des rätsels lösung gefunden .....
google wollte garnicht die seite crawlen sondern eine andere seite die auf der selben ip liegt.... da läuft so ein phpbb+ und aus irgendeinem grund hat google wohl die richtigen urls auf der falschen domain gecrawlt...
Über 300 Euro Kosten bei mir durch Google!
Verfasst: 01.05.2007, 00:10
von Tobias Claren
Hallo.
Ich habe exakt das gleiche Problem!
Die gleiche Datei.
Aber ich merkte das nicht. Wie auch. Mit so etwas muss ich ja nicht rechnen.
Im Februar über 5GB Volumenüberschreitung und jetzt im März nochmal über 25GB! Zusammen über 300 Euro Kosten!
Das ist eine DoS-Atakke meine ich! Auch wenn es kein Vorsatz ist, müssten Google für so etwas haftbar sein.
Normale Nutzung, OK. Da würde ich nichts sagen wenn jemand die Seite normal abruft oder ein Suchroboter mal vorbeischaut.
Aber dass hier ist ja wohl in keinster Weise gerechtfertigt.
Muss ich Strafanzeige wegen Computersabotage erstatten wenn die nicht zahlen wollen? Eine Bestätigung dass dies auch bei jemand anderem vorkam wäe da hilfreich. "Gaggi" kann es ja bezeugen.
Obwohl die Fakten bei mir schon reichen sollten, da so etwas wohl mit nichts zu rechtfertigen ist.
Ich habe die Rechnungen und die Abruflogs die nur den GoogleBot als Verursacher zeigen (99,x % Transfer nur durch Google auf diese eine Datei).
Re: Über 300 Euro Kosten bei mir durch Google!
Verfasst: 01.05.2007, 02:10
von net(t)worker
Tobias Claren hat geschrieben:...
...
Im Februar über 5GB Volumenüberschreitung und jetzt im März nochmal über 25GB! Zusammen über 300 Euro Kosten!
Das ist eine DoS-Atakke meine ich! Auch wenn es kein Vorsatz ist, müssten Google für so etwas haftbar sein....
....
....
Naja, man sollte sich Verträge auch genau durchlesen, bevor man sie abschliesst.... und dann natürlich auch Preise vergleichen.... Trafficpreise von 10€ pro GB, ab besten in Verbindung mit einem minimalen Inklusivtraffic, und natürlich keine Traffickontrolle mit Warnung beim Überschreiten einer Grenze.... sowas is ne nette "Goldgrube" für nen Hoster...
übliche Preise für Traffic liegen heutzutage bei 0,5 - 1 € pro GB....
Verfasst: 01.05.2007, 03:23
von To-Bi-As
@net(t)worker
Da gebe ich Dir recht, das ist viel zu teuer, aber es geht auch ums Prinzip.
Der Google Bot verursacht schon sehr oft traffik der nicht sein müßte. Wenn man schon z.B. nan Header 404 oder sogar 410 sendet, warum kommt der den tagelang wieder und ruft die Seite ab? Wobei, mit Fehlerseiten erreiche ich bei weitem nicht den Traffik, aber Serverbelastung ist es dennoch.
Das Prob bei mir ist, dass irgenwelche Seiten, Systeme, Scripte, fehlerhafte Seiten/ Links erzeugen. Google folgt denen aber immer brav und bekommt von mit nen 404. Das reicht dem aber nicht, das geht die nächsten 7 Tage so weiter bis der das endlich mal kappiert.
Gruß.
