sitemap.xml + robots.txt = nur bestimmte URLs angeben?

[nellymel]

Servus zusammen,

ich bekomme derzeit immer WARNUNG (rot!) im Google Webmaster-Tool angezeigt bei den eingereichten sitemaps.
Der Grund: Ich habe per robots.txt bestimmte URLs einer Website für den Bot gesperrt in der naiven Annahme, der Content der Seiten ist für den Suchbegriff, für den ich optimiert habe, völlig egal (z.B. Kontakt/Impressum oder kleine Unterseiten mit irrelevanten Themen).

In der sitemap.xml habe ich diese Seiten ebenfalls nicht angegeben.
Mit anderen Worten:
In der Sitemap sind nur die Seiten drin, die für den Suchbegriff/Thema relevant sind, alle anderen Seiten habe ich per robots.txt "gesperrt".

So, und jetzt meckert Google.

Mit Recht? Habe ich da Mist gebaut?
Oder war das genial von mir und Googlebot ist blos beleidigt?

Bitte ganz ehrlich: Ist es sinnvoll, bei kleineren Websites (20 Seiten) bestimmte Seiten zu sperren, die nix mit dem Suchbegriff-Thema zu tun haben?

Danke für rasche Antwort und Grüße aus Bayern!

[pr_sniper]

Bitte auch ganz ehrlich: Ist es sinnvoll, überhaupt solche Seiten zu erstellen?

Ansonsten: auch der Umfang einer Site ist ein Ranking-Kriterium ... Möchtest du trotzdem die Seiten nicht indiziert haben, ignoriere die Google-Meldung - du bist der Boss.

[tojas]

Bitte ganz ehrlich: Ist es sinnvoll, bei kleineren Websites (20 Seiten) bestimmte Seiten zu sperren, die nix mit dem Suchbegriff-Thema zu tun haben?

Tja, das kommt immer auf die Seite an. Solche Sachen wie Impressum, Kontakt, AGB und den ganzen Kram sperren wir eigentlich grundsätzlich. Schädlich ist das auf keinen Fall.

[Beach-Baer]

Servus zusammen,

Der Grund: Ich habe per robots.txt bestimmte URLs einer Website für den Bot gesperrt in der naiven Annahme, der Content der Seiten ist für den Suchbegriff, für den ich optimiert habe, völlig egal (z.B. Kontakt/Impressum oder kleine Unterseiten mit irrelevanten Themen).

In der sitemap.xml habe ich diese Seiten ebenfalls nicht angegeben.
Mit anderen Worten:
In der Sitemap sind nur die Seiten drin, die für den Suchbegriff/Thema relevant sind, alle anderen Seiten habe ich per robots.txt "gesperrt".

Das ist doch aber ganz OK, ich mache das auch so. Bei mir kommen aber keine Fehlermeldungen. Bezieht sich die Meldung eventuell auf etwas ganz anderes?

Gruß Kay

[nellymel]

Bei mir kommen aber keine Fehlermeldungen. Bezieht sich die Meldung eventuell auf etwas ganz anderes?
Gruß Kay

Danke für die Antworten!

Kay: Nö, die WARNUNG-Meldung betraf die Tatsache, dass ich bestimmte Ordner oder URLs für Googlebot mittels robots.txt "gesperrt" habe. Darauf sollte ich wohl hingewiesen werden.

Was pr_sniper sagt, stimmt natürlich auch: Je mehr ich beschränke, desto "kleiner" wird die Seite von den Bots klassifiziert.
Da sitemap.xml ja eigentlich dafür gedacht ist, auf wichtige Inhalte hinzuweisen, die ansonsten nicht indiziert werden, könnte der Ausschluss bestimmter Inhalte mittels Sitemap vom Googlebot als etwas destruktiv bewertet werden. Denk ich mir mal so...

Mal sehen. Ich werde das beobachten. Grüße.

[Beach-Baer]

Was pr_sniper sagt, stimmt natürlich auch: Je mehr ich beschränke, desto "kleiner" wird die Seite von den Bots klassifiziert.

Ich hatte zeitweise weit über 1800 Seiten im Index. Da das meiste nur Müll war (jeweils eine Seite pro Suchbegriff, eCard-Seiten ohne Content usw.), habe ich diese Seiten ebenfalls mittels der Robots.txt gesperrt und aus der Sitemap entfernt. Meine HP wurde so auf z.Zt. rund 250 Seiten im Index reduziert. Auf die Besucherzahlen hat sich das in keinster Weise ausgewirkt. So, das ich den Aspekt von pr_sniper so nicht bestätigen kann. Nur ist meine kleine HP für sich allein betrachtet, auch alles andere, als eine Referenz für solche Beobachtungen. Wenn Du die nicht benötigten Seiten innerhalb Deiner HP noch mit einem rel="nofollow" verlinkst, kannst Du damit vieleicht sogar den wichtigen Content mit PR stärken!? Das bringt meiner Meinung nach mehr, als Seiten im Index, die Dir ohnehin nie einen Besucher bescheren werden.

Aber... was weiß ich schon...

Gruß Kay