Google spidert ohne Ende

[carlo2005]

Hallo,

seit ca. 7 Tagen wird mir Google bzw. Googlebot unheimlich, denn seit dieser Zeit spidert Google die Domain fast ununterbrochen.

Es handelt sich bei der Seite um eine Informationsseite mit guten und s.g. unique Content. Die Seite ist bei Google seit fast 2 Jahren unter verschiedenen Suchbegriffen auf TOP-Positionen. Angeschlossen als Unterseite ist ein Amazon-Shop, der per Url-Rewriting Seiten statisch darstellt.

Mein Problem wird schön langsam der Traffic durch das ununterbr. Spidern(dramatische Zunahme seit wie gesagt ca. 7 Tagen) der ca. 50.000 im Index befindlichen Seiten. Außerdem 'spinnt' (wie schon in einem Thread vorher beeschrieben) die 'site:' Abfrage.

Meine Frage:
Kann ich irgendwas gegen das übermässige spidern machen und hat jemand ähnliche Beobachtungen gemacht?

Gruss
Carlo

[Racker]

https://www.google.de/intl/de/webmasters/bot.html#fast

3. Googlebot durchsucht meine Website zu schnell. Was kann ich tun?

Senden Sie uns unter Kontaktaufnahme die URL Ihrer Website und eine ausführliche Beschreibung des Problems. Bitte fügen Sie auch die Ausschnitte des Webprotokolls bei, die die Google-Zugriffe enthalten, damit wir das Problem schneller und effizienter analysieren können.

Katja

[carlo2005]

O.K vielen Dank für die schnelle Antwort. Ich möchte jedoch keine 'schlafenden Hunde' bei Guugle wecken?

Kann sich das Problem auch von selber lösen? Schon mal jemand das gleiche Problem gehabt?

Gruss
Carlo

[carlo2005]

Noch eine Ergänzung:

Ich habe mittlerweile festgestellt, dass Googlebot 66.249.55.238 für den Traffic verantwortlich ist.

--- Scheinbar echt ----
| $ host 66.249.65.238
| 238.65.249.66.in-addr.arpa domain name pointer crawl-66-249-65.238.googlebot.com.

Any Ideas

Gruss Carlo

[Beginner]

Nur ein Bot?
Vieleicht ist das auch nicht Google sondern irgendeine Suma die sich als Google ausgiebt....

[carlo2005]

Hallo Beginner,

nein laut whois.sc ist das definitiv eine Googlebot. Ich kann mir auch nicht vorstellen das 'irgendeine' andere SUMA - zumindest keine dieser Pseudosumas - mal eben 50.000 Seiten spidert.

Was meint ihr soll ich den Bot einfach mal per .htaccess aussperren? Oder wie wird das wohl Tante G... bewerten?

Gruss
Carlo

[LinkPop]

Ja, sperr den Bot aus.

[buttheads]

@ Linkpop

Ja, sperr den Bot aus.

... hehe ... dann gibts weniger Traffic

@ Carlo
... wie würdest Du dich fühlen, wenn Du ausgesperrt wirst? Aber Spass beiseite: wenn Du den Googlebot aussperrst, wirst du natürlich vom Googlebot auch nicht gespidert. Das ist recht schlecht, wenn Du in Googles Suchergebnisse willst. Wenn du da nicht hin willst und dich das Datensaugen ärgert - dann aknnst Du den bot ... und auch alle anderen in der htacess oder deinen robots.txt aussperren....

[RW]

HI,



https://abakus-internet-marketing.de/fo ... art-0.html

https://php-resource.de/manual.php?p=fu ... -gzhandler

RW

[LinkPop]

- Er pumpt 50k Seiten in den Index
- bekommt Probleme mit dem Traffic
- hat "eine Informationsseite mit guten und s.g. unique Content"
- will aber "keine 'schlafenden Hunde' bei Guugle wecken" ???

...ich weiß nicht. Alle Bots sperren, wäre wirklich das Beste.

[carlo2005]

Hallo,

... wie würdest Du dich fühlen, wenn Du ausgesperrt wirst? Aber Spass beiseite: wenn Du den Googlebot aussperrst, wirst du natürlich vom Googlebot auch nicht gespidert. Das ist recht schlecht, wenn Du in Googles Suchergebnisse willst. Wenn du da nicht hin willst und dich das Datensaugen ärgert - dann aknnst Du den bot ... und auch alle anderen in der htacess oder deinen robots.txt aussperren....

Ja mit den negativen Auswirkungen ist mir schon klar. Aber das gesamte ist mir jetzt etwas zuviel, denn immerhin ist der Bot dafür verantwortlich, dass sich mein Traffic in den letzten 7 Tagen etwa verzehfacht hat! Und laut G.. und 'site:www.example.foo' waren zuvor auch schon 50000 Seiten im Index. Ehrlich gesagt das würde mir schon reichen, wenn die vernünftig drin bleiben, was aber irgendwie (s.o.) auch nicht der Fall zu sein scheint.

Im Thread nebenan ist ja ein ähnliches Problem...

Any Ideas?

Gruss Carlo

[carlo2005]

...ich weiß nicht. Alle Bots sperren, wäre wirklich das Beste.

O.K. ich danke für deine überaus konstruktive Hilfe und wünsche dir, solltest du jemals in die Verlegenheit kommen ebenfalls mal Hilfe zu benötigen auch solch kompetente Unterstützung.

Gruss
Carlo

[Beginner]

Will doch keiner Bots sperren, was ich meinte sind diese Fake Suchdinger die könnten sich doch auch als Bot ausgeben.

Auch wenn das nicht so ist, warum erscheint keine Seit eim Index

[LinkPop]

@Carlo

Wenn der Google-Bot mehr Traffic als die Google-User verbraucht, solltest Du mit der Problemlösung bei Dir ansetzen und nicht beim Bot.

Würden ausreichend User kommen, könntest Du Dir bestimmt auch mehr Traffic leisten, da Dein Amazon-Shop dann ordentlich abwerfen würfe.

Einfach mal zw. den Zeilen lesen.

[carlo2005]

@LinkPop
Wenn der Google-Bot mehr Traffic als die Google-User verbraucht, solltest Du mit der Problemlösung bei Dir ansetzen und nicht beim Bot.

Würden ausreichend User kommen, könntest Du Dir bestimmt auch mehr Traffic leisten, da Dein Amazon-Shop dann ordentlich abwerfen würfe.

Ja das habe ich verstanden und steht auch nicht zur Debatte!

Ist wird aber doch trotzdem erlaubt sein darüber hier nachzufragen, denn wenn sich der Traffic in den nächsten 7 Tagen nochmal verzehnfacht wird es kritisch!

Und es wird auch erlaubt sein hier nachzufragen/diskutieren, wenn Google seine aktivität dermaßen verstärkt bzw. ausser Rand und Band zu sein scheint?

Wenn du sonst was konstruktives beitragen willst, bin ich jederzeit dafür offen!

Gruss