Neue Domain, sinkende Anzahl an Sites im Index (Google)

Beitrag von **The-Plaqe** » 11.05.2006, 18:12

@ice

o.m.f.g.

dieses dc ist bei meiner besagten seite noch derber

caches = ...nach dem Stand vom 24. Dez. 2004 06:37:29 GMT.

von **Anzeige von ABAKUS** »

Beitrag von **Georgi** » 11.05.2006, 18:18

@Wolfgang67: Ich glaube auch, dass das was Du beobachtet hast ein Teilaspekt des gesamten Google-Problems ist. Schöner, nichtssagender Satz, was? ;- )

Meiner Meinung nach versucht Google gerade intensiv alle Indexe, welche sie haben über den neuen Algo neu zu bewerten. Ich sage absichtlich nicht "Rechenzentren", denn imho werden sie diese Arbeit so gut wie geht verstecken. Da werden teilweise Uraltindexe wieder "auf Stand" gebracht bzw. reaktiviert oder eingespielt um dann bewertet zu werden oder ... .

Ein Ergebnis ist, dass Uraltseiten wieder eingespült werden. Dazu kommen meine Beobachtungen: Meine Testseite schwankt gerade täglich zwischen 12 und 13 gefundenen Seiten. Wohlgemerkt immer die selben und teilweise im Minutentakt. Ich kann mir nicht vorstellen, dass das aufgrund einer Neubewertung stattfindet, ich glaube eher, dass da Indexe geswitched werden.

Zusätzlich habe ich noch Probleme mit Sitemaps: Ich habe vor ca. einem Monat ein paar Links aus der sitemap.xml gelöscht, welche einen "404" erzeugt haben, seitdem sehe ich nur zwei reell falsch verlinkte 404er. Ausserdem habe ich am 24.04. ein paar Links korrigiert, die einen "500" geworfen hatten. Da ich vor 4 oder 5 Tagen gesehen habe, dass die Hauptkeywords in Sitemaps sich das erste mal seit Ewigkeiten geändert hatten, habe ich gestern die sitemap.xml nochmal geändert (andere Prioritäten) und resubmitted (wurde innerhalb von 2 Minuten abgeholt). Ergebnis:

- Die URLs der 500er, die eigentlich nicht mehr existent sind (weder sitemaps.xml noch verlinkt), werden immer noch gespidert und nach wie vor in Sitemaps angezeigt
- Die zwei 404er, die reell da sind sind verschwunden, aber:
- 11 404er, die nicht in der Sitemap sind werden jetzt "gefunden" (und gespidert). Und zwar so als ob die das letzte mal vor 5 Tagen gespidert worden wären (Angabe lt. Sitempas: 5.Mai)
- Es werden auch Seiten gespidert die neu sind und nichtmal in der sitemaps.xml vorkommen

Es sieht so aus, als ob er die Sitemap abgeholt, dann aber weggeworfen hätte. Vorher waren die Sitemap-Ausgaben bei mir über 2-4 Wochen stabil. Gespidert wurden die Seiten so auch nicht mehr (so stark), erst seit gestern. Da ist der Wurm drinnen und ich gehe stark davon aus, dass es

a) Am "Index-Switching" (habe ich gerade erfunden : ) und den unterschiedlichen Datenbeständen
b) Am Spidern und der neuen Spidertechnologie liegt (die scheint noch nicht richtig zu funzen)
c) An der, wahrscheinlich von Google, unterschätzten Rechenhungrigkeit des "neuen Algo"

liegt. Speicherplatz scheidet völlig aus

- Will sagen, das ist kein Speicherplatz, sondern ein Speicherungs - Problem. Unter anderem deswegen verschwinden imho die Seiten auch bei der site: ... - Abfrage. Und wenn ich da nur einigermaßen richtig liege, dann würde ich die 301er wieder einbauen...

Vodka, Georgi

P.S.: Seit Ewigkeiten wird auf meine "www.domain.de/index.html" auch kein GET, sondern nur noch ein HEAD ausgeführt, weiß der Teufel warum...

Beitrag von **Martin Ice** » 11.05.2006, 19:00

@plaqe

bei mir scheint es genau anders herum zu sein. Very strange. Mir ist auch aufgefallen, das wieder jede Menge ebay-Rotz in den Serps ist.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Wolfgang67** » 11.05.2006, 19:02

Und wenn ich da nur einigermaßen richtig liege, dann würde ich die 301er wieder einbauen...

Da könntest Du auch wieder Recht haben. Ich hab die 301er nun mal in eine index.php gesetzt. So werden nur noch Zugriffe auf die Hauptdomain und den Index weitergeleitet, die ganzen Unterseiten bekommen eine 404. Ist wahrscheinlich eh das beste, denn es sind alles dynamische links mit Optionen ... und die habe ich auf der neuen Domain sowieso ausgesperrt (weil auf mod_rewrite umgestellt).

Beitrag von **Wolfgang67** » 12.05.2006, 06:23

Nanu? Seit heute morgen ist nun meine alte Domain komplett aus der site Abfrage verschwunden...

edit: Nun ist auch wieder der aktuelle dmoz-Titel in den Serps unter der Hauptdomain zu sehen.

Beitrag von **John** » 12.05.2006, 11:16

Argh.. Google.. bei mir fliegen immer noch Seiten raus, aber neue Seiten (sind jeden Tag so 4-5) erscheinen nach 3 Tagen.

Beitrag von **dein_opi** » 12.05.2006, 16:47

tjo..
bin auch betroffen vom "rausfliegen"

allerdings habe ich auf anderen domains (die nicht vom "rausfliegen" betroffen sind) nicht auch "indexierungsprobleme"

auf einer domain mit fast durchgehendem pr5 wird in das menue (also jede seite) ein neuer link eingefügt zu einer datenbank (umgeschriebene urls)

normal würde ich sagen in paar tagen die erste ebene, nach einer woche so gut wie alles (~15.000 einträge) im index...

nix da.. seit >3 wochen erst die "index" und da verlinkten buchstaben a-z indexiert worden..

auf einer noch stärkeren domain was vergleichbares (3,500 uniq einträge) eingebunden vor > woche..

da ist erst die "index" indexiert worden..

beide domains haben weit über 100 "uniq ip links" und sind ~3 und >1,5 jahre alt..

Beitrag von **Georgi** » 14.05.2006, 03:29

Update:

Gerade sehe ich in Google Sitemaps einen neuen Fehler, der vorher (ca. 2 Jahre, eigene Tools sagen da was anderes) noch nie da war. Zu den 500ern hat sich ein "Network unreachable" hinzugesellt: "We encountered a network error when we tried to access the page." (https://www.google.com/support/webmaste ... 5155&hl=en)

Nun weiß ich gerade zufällig, dass das sehr, sehr, sehr wahrscheinlich nicht stimmt. Was ich daraus ziehe:

Google hat an seiner Spiderinfrastruktur geschraubt. Zumindest ist es offensichtlich, dass die Spider endlich mal "richtige" Fehlermeldungen werfen (network unreachable weist darauf hin). Wenn es so ist, dann sind das eigentlich gute Neuigkeiten, weil man dann erstens an dem Problem arbeitet und zweitens die lange Stille (vor dem Presseevent von Google) endlich vorbei ist. Und wie bereits gepostet denke ich, dass Google heftige Probleme damit hatte, dass der Index komplett umgestellt wurde (wird?). Die Probleme hat man, wenn man genau hingeschaut hat vor allem im letzten Monat massiv beobachten können. Ich denke aber, weil sich endlich was bewegt, dass sich das dem Ende zuneigt. Vor allem auch beim "site: ..." - Verschwindibus - Problem, auch wenn sich das erst einpegeln muss. Wir werden sehen.

Jetzt endlich die eine Million <hier bitte die Währung einsetzen> - Frage: Hat jemand ähnliche Erfahrungen?

Vodka, Georgi

P.S.: Nicht vergessen, das ist eine für Google aufgesetzte Testseite von mir, also nix mit "selbst-auf-die-Brustklopfen-und-so" : )

P.P.S.: Und nein, es gibt imho keine Alternative zu Google im Moment. Alleine dass ich mit dem Hauptkeyword z.B. bei MSN im Moment Anfang 2. SERPs-Seite bin, ohne auch nur irgendwie darauf optimiert zu haben ist eigentlich schaurig. Mit einer 2-Wort-Kombi bin ich praktisch immer auf Seite 1 (sehr oft sogar Platz 1 bei bis zu 1 Mio. Ergebnissen). Die Request-Zahlen von MSN halten sich dabei aber noch stark in Grenzen. Und das auch noch mit 8 (!) reell eingehenden Links die gar nichts mit der Seite zu tun haben... hmmm... .

P.P.P.S.: DC scheidet auch aus. Seit vorgestern habe ich stabil eine Seite im Index welche noch am ehesten DC-abgestraft werden könnte. Diese Seite ist in den letzten 2 Monaten auch immer wieder im Index gewesen... .

Beitrag von **The-Plaqe** » 14.05.2006, 06:37

bei eine meiner betroffenen domains (seiten zahl) erhalte ich heute morgen +3500 seiten mehr als noch gestern... (neu cache vom 12.05)

Beitrag von **Wolfgang67** » 14.05.2006, 07:15

Und in meinem Forum ist mir auch mal wieder etwas aufgefallen. Wenn man ins Admin Panel schaut, sieht man bei einem phpbb die Gäste, deren Aufenthaltsort, sowie deren IP. Laut dieser Liste hat mich in den letzten Tagen 66.249.72.8 sehr oft besucht . Teilweise war er gleichzeitig auf ca. 20-25 verschiedenen Seiten unterwegs... zumindest laut dem Admin Panel. Wenn ich mir dann aber meine logs anschaue, kommt für das ganze crawlen dann mal gerade ein einziger Zugriff auf ein topic zustande. Wie funktioniert denn das?

Nun bin ich nicht ganz sicher... aber ich meine früher wäre das anders gewesen.

Beitrag von **The-Plaqe** » 14.05.2006, 08:51

vielleicht passt ja die zeit der logs mit der des phpbb net überein ?

sonst müssten diese zugriffe eigentlich mit drinne sein, oder dein log-sys. hat fehler ...

Beitrag von **web_worker** » 15.05.2006, 08:40

kurze verschnaufpause über die letzten paar tage - heut morgen gings schon wieder weiter abwärts...

ich hoff doch, dass das bald mal ein ende hat und google endlich wieder richtig tickt...

gruß,
w_w

Beitrag von **bgx** » 15.05.2006, 10:01

Hi Ich kann mir das alles auch nicht mehr erklären hab nun nur noch 87 Seiten im Index und täglich gehts weiter bergab!

Beitrag von **Wolfgang67** » 15.05.2006, 16:57

Hallo zusammen,

nun geht meine zweite Seite den gleichen Weg. Ist ein Serendipity basierter Blog (private Homepage). Hatte sowieso nur knapp 110 Seiten im Index (bin nicht besonders aktiv). Seit heute sind's nur noch knapp über 60.

Der einzige bot der mich noch spidert, ist 66.249.72.8
Früher kamen immer ganze Heerscharen von bots aus der Google Familie gleichzeitig...

Beitrag von **oldInternetUser** » 15.05.2006, 17:21

Wolfgang67 hat geschrieben:Der einzige bot der mich noch spidert, ist 66.249.72.8
Früher kamen immer ganze Heerscharen von bots aus der Google Familie gleichzeitig...

Das ist die Umstellung vom GoogleBot mit HTTP 1.0 auf den Mozilla-GoogleBot mit HTTP 1.1. Das ist jetzt überall so - auch bei den Domains, die weiterhin fleißig gespidert werden.