Google und die Robots.txt

[holch]

Erstmal vorne weg: am Wochende hab ich die Seite neu eingestellt (es gab vorher nur eine einzelne Startseite) und jetzt sind die meisten Unterseiten schon indiziert. Respekt, Google ist schnell. OK, die Seite hatte einen PR von 4, aber trotzdem.

Jetzt habe ich aber verschiedene Bereiche in denen es nichts sinnvolles für die Robots gibt mit der Robots.txt ausgenommen, z.B. Kundenbereich (Login-Seite), Impressum, Kontaktseite.

Wenn man sich jetzt mit site: die indizierten Seiten ansieht sind die 3 Bereiche aber trotzdem gelistet, allerdings ohne Inhalte (Beschreibung). Alle anderen haben Inhalt dabei.

Ist das die normale Vorgehensweise oder dürfte er die Links zu den Unterseiten gar nicht anzeigen? Wie sieht das bei euch aus?

Bei der Suche nach Seitenname und Impressum erscheint der Link trotzdem. Das ist doch nicht Sinn und Zweck der Robots.txt, oder??

Gruß, Holger

[mariow]

Das ist bestimmt mal anders gedacht gewesen, aber so ist Google Interpretation von "Robots Exclusion": Alles was verlinkt ist wird gelistet, die robots.txt kontrolliert lediglich die Indizierung.
Faktisch wird die Seite aber auch so eigentlich nie in den SERPs auftauchen.

Ansich wäre sowas mal ein schöner Test für das tolle neue rel=nofollow Attribut. Wenn ich das Impressum damit verlinke, sollte doch der Link für den Bot nicht existent sein und auch die leere URL dürfte nie im Index landen...

[Apotheker]

Ausschluss per Robots-Metatag und/oder robots.txt führt zu einer Listung der reinen URL ohne Beschreibung. Die Seite wird natürlich so gut wie nicht gefunden, wenn aber z.B. in der URL ein markanter, seltener Begriff steckt, dann halt schon.

Das rel="nofollow" ist noch sinnloser, denn die verlinkte Seite wird komplett gespidert und in den Serps gezeigt, mit allem, was dazugehört. Ich warte noch auf das nächste PR-Update, da könnte es zumindest noch sein, dass kein PR vererbt wird. Evtl. wird der Link auch nicht mit link: angezeigt bzw. gewertet. Aber wer will das schon mit Sicherheit interpretieren können. Yahoo zeigt rel="nofollow"-Links jedenfalls schon als Backlinks an.

[holch]

OK, danke, das würde das ganze erklären. Naja, im Prinzip reicht mir das ja, dass die Inhalte nicht gespidert werden. Meinetwegen könnten sie sie ja auch indizieren. Steht nix geheimes drin. Aber wozu gibt es die Robots.txt.

War aber ein schönes Beispiel um zu sehen, wie das ganze funktioniert.

Am 27. und 28. die Seiten ins Netz gestellt, am 29. kam Google vorbei und schon ist alles drin.

So sollte es immer sein... *g*

OK, ich hab aber auch schon im Vorfeld versucht alle Barrieren aus dem Weg zu räumen.

Gruß, Holger

[mariow]

@Apotheker:
Achso, ich dachte der rel=nofollow führt tatsächlich zum "nicht-folgen" des Links und nicht nur zur Nicht-Beachtung bei der Popularitätsberechnung. Es geht doch nix über mißverständlich bezeichnete Features...

[Apotheker]

Ja, das dachten wohl einige. Ich auch. Und selbst die "Nicht-Beachtung bei der Popularitätsberechnung" ist auch nur eine Theorie. Jedenfalls wurde rel=nofollow als Mittel gegen Blog/GB-Spamming gepriesen und das ist ja offensichtlich Quatsch. Wenn ich so ein "Böser" wäre, würde ich mir zwar ein bisschen Sorgen machen, aber weiter alles mit meinen Links zumüllen.

[Apotheker]

Das rel="nofollow" ist noch sinnloser, denn die verlinkte Seite wird komplett gespidert und in den Serps gezeigt, mit allem, was dazugehört. Ich warte noch auf das nächste PR-Update, da könnte es zumindest noch sein, dass kein PR vererbt wird.

Es ist kein PR vererbt worden. Na toll.