Ich hatte Anfang letzten Monat auf unserer Seite ein neues Thema drauf genommen und danach ein paar mal geschaut, ob die neue Seite schon mit einem eindeutigen Suchbegriff gefunden wird. Die Suche hatte ich dabei uns unsere Domain eingeschränkt.
Bis zur Indizierung der neuen Seite hatte ich als Ergebnis immer 3 andere Seiten + Link zu übersprungenen Ergebnissen erhalten. Bei den alten Seiten handelt es sich um Suchergebnisse aus einem einsprachigen Wörterbuch, wo der Begriff auch vorkam.
Da die Suchergebnisse in dem Wörterbuch untereinander auch alle verlinkt sind und da ein Bot mal schnell einige 10.000 Seiten erhält, hatte ich das Wörterbuch schon vor fast einem Jahr mittels robots.txt und nofollow-Links für Suchmaschinen gesperrt. Der normale Google-Bot hält sich auch daran, nur der Mozilla-Googlebot stört sich wie üblich gar nicht daran und durchsucht immer mal wieder tausende Seiten daraus. Im Suchindex tauchen (wie bei dem besagten Suchbegriff) die Seiten auch immer noch auf.
Interessant ist nun aber, dass nach dem Indizieren der neuen Seite die Wörterbuch-Ergebnisse nicht mehr auftauchen. Jetzt werden nur noch 3 Seiten (die eigentliche Seite + 2 Seiten, von wo aus sie verlinkt ist) gefunden. Es wird auch kein Link zu übersprungenen Ergebnisse mehr angezeigt.
Kann es sein, dass die Mozilla-Googlebot Ergebnisse nur dann angezeigt werden, wenn vom normalen Googlebot nichts kommt?
Archiv