Seite 1 von 2
Google spidert ohne Ende
Verfasst: 27.08.2005, 14:24
von carlo2005
Hallo,
seit ca. 7 Tagen wird mir Google bzw. Googlebot unheimlich, denn seit dieser Zeit spidert Google die Domain fast ununterbrochen.
Es handelt sich bei der Seite um eine Informationsseite mit guten und s.g. unique Content. Die Seite ist bei Google seit fast 2 Jahren unter verschiedenen Suchbegriffen auf TOP-Positionen. Angeschlossen als Unterseite ist ein Amazon-Shop, der per Url-Rewriting Seiten statisch darstellt.
Mein Problem wird schön langsam der Traffic durch das ununterbr. Spidern(dramatische Zunahme seit wie gesagt ca. 7 Tagen) der ca. 50.000 im Index befindlichen Seiten. Außerdem 'spinnt' (wie schon in einem Thread vorher beeschrieben) die 'site:' Abfrage.
Meine Frage:
Kann ich irgendwas gegen das übermässige spidern machen und hat jemand ähnliche Beobachtungen gemacht?
Gruss
Carlo
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
Google spidert ohne Ende
Verfasst: 27.08.2005, 14:30
von Racker
https://www.google.de/intl/de/webmasters/bot.html#fast
3. Googlebot durchsucht meine Website zu schnell. Was kann ich tun?
Senden Sie uns unter Kontaktaufnahme die URL Ihrer Website und eine ausführliche Beschreibung des Problems. Bitte fügen Sie auch die Ausschnitte des Webprotokolls bei, die die Google-Zugriffe enthalten, damit wir das Problem schneller und effizienter analysieren können.
Katja
Google spidert ohne Ende
Verfasst: 27.08.2005, 14:47
von carlo2005
O.K vielen Dank für die schnelle Antwort. Ich möchte jedoch keine 'schlafenden Hunde' bei Guugle wecken?
Kann sich das Problem auch von selber lösen? Schon mal jemand das gleiche Problem gehabt?
Gruss
Carlo
Google spidert ohne Ende
Verfasst: 27.08.2005, 16:54
von carlo2005
Noch eine Ergänzung:
Ich habe mittlerweile festgestellt, dass Googlebot 66.249.55.238 für den Traffic verantwortlich ist.
--- Scheinbar echt ----
| $ host 66.249.65.238
| 238.65.249.66.in-addr.arpa domain name pointer crawl-66-249-65.238.googlebot.com.
Any Ideas
Gruss Carlo
Google spidert ohne Ende
Verfasst: 27.08.2005, 17:20
von Beginner
Nur ein Bot?
Vieleicht ist das auch nicht Google sondern irgendeine Suma die sich als Google ausgiebt....
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:02
von carlo2005
Hallo Beginner,
nein laut whois.sc ist das definitiv eine Googlebot. Ich kann mir auch nicht vorstellen das 'irgendeine' andere SUMA - zumindest keine dieser Pseudosumas - mal eben 50.000 Seiten spidert.
Was meint ihr soll ich den Bot einfach mal per .htaccess aussperren? Oder wie wird das wohl Tante G... bewerten?
Gruss
Carlo
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:15
von LinkPop
Ja, sperr den Bot aus.
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:19
von buttheads
@ Linkpop
Ja, sperr den Bot aus.
... hehe ... dann gibts weniger Traffic
@ Carlo
... wie würdest Du dich fühlen, wenn Du ausgesperrt wirst? Aber Spass beiseite: wenn Du den Googlebot aussperrst, wirst du natürlich vom Googlebot auch nicht gespidert. Das ist recht schlecht, wenn Du in Googles Suchergebnisse willst. Wenn du da nicht hin willst und dich das Datensaugen ärgert - dann aknnst Du den bot ... und auch alle anderen in der htacess oder deinen robots.txt aussperren....
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:23
von LinkPop
- Er pumpt 50k Seiten in den Index
- bekommt Probleme mit dem Traffic
- hat "eine Informationsseite mit guten und s.g. unique Content"
- will aber "keine 'schlafenden Hunde' bei Guugle wecken" ???
...ich weiß nicht. Alle Bots sperren, wäre wirklich das Beste.
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:30
von carlo2005
Hallo,
... wie würdest Du dich fühlen, wenn Du ausgesperrt wirst? Aber Spass beiseite: wenn Du den Googlebot aussperrst, wirst du natürlich vom Googlebot auch nicht gespidert. Das ist recht schlecht, wenn Du in Googles Suchergebnisse willst. Wenn du da nicht hin willst und dich das Datensaugen ärgert - dann aknnst Du den bot ... und auch alle anderen in der htacess oder deinen robots.txt aussperren....
Ja mit den negativen Auswirkungen ist mir schon klar. Aber das gesamte ist mir jetzt etwas zuviel, denn immerhin ist der Bot dafür verantwortlich, dass sich mein Traffic in den letzten 7 Tagen etwa verzehfacht hat! Und laut G.. und 'site:
www.example.foo' waren zuvor auch schon 50000 Seiten im Index. Ehrlich gesagt das würde mir schon reichen, wenn die vernünftig drin bleiben, was aber irgendwie (s.o.) auch nicht der Fall zu sein scheint.
Im Thread nebenan ist ja ein ähnliches Problem...
Any Ideas?
Gruss Carlo
Google spidert ohne Ende
Verfasst: 27.08.2005, 18:41
von carlo2005
...ich weiß nicht. Alle Bots sperren, wäre wirklich das Beste.
O.K. ich danke für deine überaus konstruktive Hilfe und wünsche dir, solltest du jemals in die Verlegenheit kommen ebenfalls mal Hilfe zu benötigen auch solch kompetente Unterstützung.
Gruss
Carlo
Google spidert ohne Ende
Verfasst: 27.08.2005, 19:01
von Beginner
Will doch keiner Bots sperren, was ich meinte sind diese Fake Suchdinger die könnten sich doch auch als Bot ausgeben.
Auch wenn das nicht so ist, warum erscheint keine Seit eim Index
Google spidert ohne Ende
Verfasst: 27.08.2005, 19:04
von LinkPop
@Carlo
Wenn der Google-Bot mehr Traffic als die Google-User verbraucht, solltest Du mit der Problemlösung bei Dir ansetzen und nicht beim Bot.
Würden ausreichend User kommen, könntest Du Dir bestimmt auch mehr Traffic leisten, da Dein Amazon-Shop dann ordentlich abwerfen würfe.
Einfach mal zw. den Zeilen lesen.
Google spidert ohne Ende
Verfasst: 27.08.2005, 19:20
von carlo2005
@LinkPop
Wenn der Google-Bot mehr Traffic als die Google-User verbraucht, solltest Du mit der Problemlösung bei Dir ansetzen und nicht beim Bot.
Würden ausreichend User kommen, könntest Du Dir bestimmt auch mehr Traffic leisten, da Dein Amazon-Shop dann ordentlich abwerfen würfe.
Ja das habe ich verstanden und steht auch nicht zur Debatte!
Ist wird aber doch trotzdem erlaubt sein darüber hier nachzufragen, denn wenn sich der Traffic in den nächsten 7 Tagen nochmal verzehnfacht wird es kritisch!
Und es wird auch erlaubt sein hier nachzufragen/diskutieren, wenn Google seine aktivität dermaßen verstärkt bzw. ausser Rand und Band zu sein scheint?
Wenn du sonst was konstruktives beitragen willst, bin ich jederzeit dafür offen!
Gruss
