ABAKUS

Hi alle zusammen,
ich beobachte gearde die verschiedenen google Datencenter.
Da fällt mir doch einiges auf:
- sehr viele sind offline
- die site und link befehle schwanken sehr stark
- teilweise tauchen uralte Seiten unter site auf

ob wir da wohl alle ein Geschenk zu Weihnachten bekommen?
Was beobachtet ihr denn so?

Gruss Heinz

jo heinz,

hab mich schon gewundert ob das sonst keiner wahrnimmt oder ob jetzt gerade alle mit schlotternden knien vor der mattscheibe sitzen (so wie ich).
tatsaechlich werden sehr viele sites von mir bei site:www.... mit 0 seiten angezeigt. allerdings schwanken die ergebnisse sehr stark, die meisten sites kommen dann wieder rein. und verschwinden wieder.
bin gespannt wie das endet :-|

tritop

ja stimmt, das beobachten wir alle, aber ist kein grund darüber zu diskutieren!

es wird sich zeigen was kommt u. dann gibts wieder viele gründe zu diskutieren, oder auch nicht

@ tritop.
Das zittern kann ich verstehen.
In den letzten Monaten ist es ja auch immer das gleiche.
Es kommt das BL-Update, kurz danach folgt der folgende google-bot
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
in scharen bis der Server fast platzt.
Ein bis zwei Tage später fliegen einem dann wieder die Domains um die Ohren.

Ich hab auf diese Weise schon ein gutes Dutzend (zugegeben nicht saubere) Portale verloren. Ich hoffe diesmal geht alles gut.

Es drückt die Daumen - Heinz

@heinz

Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

der ist nicht das problem bei solchen seiten. da gibts noch den der nicht offiziell als googlebot kommt u. der machts aus

jo,
den mozilla-googlebot hab ich von gestern 5.00 bis heute 2.00 uhr knapp 1000 mal auf meinen seiten gehabt. bei der letzten update-katastrophe hatte ich zig tausend zugriffe und dann sind die server gekickt worden. denke also auch dass da ein zusammenhang besteht und bin immer froh wenn ich nur den anderen bot in meinen logs habe...
vor allem habe ich vor dem grossen serverrausschmiss keine anderen irgendwie auffaelligen zugriffe feststellen koennen die keine google-kennung hatten. wenn du, lieber visions4, da mehr weisst als wir faende ich es ganz dufte wenn du uns bzw. mir mal einen tip gibst worauf ich da mal achten sollte (ip oder useragent). hab noch meine logs von damals archiviert und wuerd die dann gerne nochmal durchgucken.

@tritop

wenn du spammst solltest du deine logs genau überwachen
vorallem IP´s

@visions,
ich spamme nicht. oder nicht richtig schlimm.
es ist aber so dass bei mir eine alarmklingel angeht wenn ungewoehnlich viele zugriffe unter einer ip erfolgen. und sowas hab ich damals nicht festgestellt.
oder kommt das vieh unter verschiedenen ips so dass ich ganze bereiche ueberwachen muss??
wuerd mich da ueber nen konkreten hinweis freuen...

ich spamme nicht. oder nicht richtig schlimm

süss

macht ja nix, auch wenns hier keiner zugibt

das sog. "vieh" greift nicht mehr groß zu, sondern entfernt doms nicht einzelne seiten

aber du kannst ihn aufgrund seines verhaltens dennoch von einem user unterscheiden. denk mal drüber nach, was das verhalten eines bots von dem eines users unterscheidet. mehr kann ich dazu nicht sagen.

mir ist da mal folgender aufgefallen:
Mozilla/5.0 (compatible; Konqueror/3.0-rc2; i686 Linux; 20020518)
ich bin auf den aufmerksam geworden weil er unter der gleichen ip-adresse wie ein gbot reiste. hat den sonst noch jemand in seinen logs?

@ visions und tritop
Ich analysiere meine logs auch sehr genau.
Ich hatte bisher folgende Rückschlüsse gezogen.

Der Googlebot/2.1 (+https://www.google.com/bot.html) macht die tägliche Arbeit.

Der Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html) kontrolliert die Seiten (meist einmal proMonat nach dem BL Update).
Wie der Name dieses Bots ja schon zeigt ist er nicht nur ein einfacher Bot, sondern eine Browser Emulation und kann somit auch JavaScript und anderes ausführen. Wenn dieser Bot seine Arbeit erledig hatt und Auffälligkeiten festgestellt hat landen die verdächtigen Domains bei einem Google Mitarbeiter auf dem Bildschirm und dieser entscheidet dann über den Rauswurf. Entsprechende Zugriff mit Google IP und und einem Browser Useragent konnte ich beobachten.
Ich glaube nicht, dass ein Bot ohne weitere menschliche Kontrolle Domains kickt.
Da würde zuviel unheil passieren.

Ich denke mal nicht das Google-Mitarbeiter auch nur Ansatzweise auf die Seiten schauen werden. Bei 3.000.000.000 Seiten (habe mal 5.000.000.000 getürkte gestrichen) wäre es wohl aussichtslos zu versuchen die Qualität der Ergebnisse mit Mitarbeitern aus Fleisch und Blut sicherzustellen.

Also wenn ich bei Google für einen "Qualitybot" verantwortlich wäre, hätte der ganz bestimmt nicht "googlebot" im Useragent

@ terese0815
ich glaube auch nicht, dass einzelnen Seiten kontrolliert werden,
sondern Domains. Da gibt es lange nicht so viele.
Zur Zeit sind es ca 3 Millionen konnektierte und genutzte .de Domains.
Von diesen werden dann die Domains kontrolliert die durch den Bot auffällig werden.
Ein Mensch kann innerhalb von wenigen Sekunden erkennen ob es offensichtlicher Spam ist oder nicht. Einer Maschine fällt dies sehr schwer. Da hab ich schon einige Versuche zu durchgeführt.

@ Eistee
Warum sollte sich Google verstecken? Falls man den entsprechenden Spam-Bot sperrt wird man eh kontrolliert.

Ich denke auch nicht das es dabei um Qualität im engeren Sinn geht,
sondern darum ganz offensichtlichen Spam auszuschließen.

Also wenn ich bei Google für einen "Qualitybot" verantwortlich wäre, hätte der ganz bestimmt nicht "googlebot" im Useragent

so siehts aus

@heinz

ich stimme deinen beobachtungen zu, bis auf die kleinigkeit mit dem G-Mitarbeiter. ich denke, dass unter besonderen bedingungen seiten sehr wohl autom. gekickt werden. ist allerdings nur eine annahme.
aber terese hat den nagel denk ich auf den kopf getroffen.