Seitmap soll nicht in den Index

Beitrag von **cherrydigital** » 11.02.2011, 22:44

Wie kann man es verhindern dasss eine Seitmap in den Googel Index aufgenomen wird?

Das ausschliesssen mit des robot.txt fähllt ja schon mal aus da Googel die ja lesen soll.

Gibt es da Möglichkeit mit htacces?

von **Anzeige von ABAKUS** »

Beitrag von **Schwede** » 11.02.2011, 23:05

Einfach das Indexieren per Meta Tag ausschliessen.

<meta name="robots" content="noindex">

Gruss

Schwede

Beitrag von **cherrydigital** » 11.02.2011, 23:14

Schwede hat geschrieben:Einfach das Indexieren per Meta Tag ausschliessen.

<meta name="robots" content="noindex">
Gruss

Schwede

In der Seitmap.XML ?

von **Anzeige von ABAKUS** »

Beitrag von **superolli** » 14.02.2011, 07:58

nein, in den Meta Tags

Beitrag von **SloMo** » 14.02.2011, 08:50

XML-Sitemaps unterstützen kein noindex. Es ist Aufgabe der Suchmaschine, diese Dateien auszuwerten und nicht selbst in den Index aufzunehmen.

Beitrag von **Hirnhamster** » 14.02.2011, 09:13

@SloMo
Dachte ich auch, aber anscheinend passiert es trotzdem https://www.google.de/search?hl=de&sour ... =&aql=&oq=

Beitrag von **SloMo** » 14.02.2011, 13:50

Im Prinzip ist es ja sogar richtig, die sitemap.xml zu indizieren, wenn sie verlinkt ist. Genau so, wie PDFs und Bilder indiziert werden. Der Fehler besteht eigentlich nur darin, dass in der robots.txt kein Noindex existiert. Der Robots Exclusion Standard ist eh völlig kacke. So eine syntaktische und logische Fehlkonstruktion hätte nie zum Standard werden dürfen. Aber damit bleibt es dabei, ich wüsste jedenfalls gerade nicht, wie man beliebig formatierte Dateien quasi auf "follow,noindex" setzen kann.

Beitrag von **Synonym** » 14.02.2011, 14:29

Theoretisch müsste man per Header ein "noindex" senden können, oder verstehe ich hier nun was falsch?

* Don't include this document in the Google search results:

X-Robots-Tag: noindex

https://googleblog.blogspot.com/2007/07 ... -even.html

<Files sitemap.xml>
Header append X-Robots-Tag "noindex"
</Files>

https://noarchive.net/xrobots/

oder auch hier:

The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any directive that can used in an robots meta tag can also be specified as an X-Robots-Tag. Here's an example of an HTTP response with an X-Robots-Tag instructing crawlers not to index a page:

https://code.google.com/intl/de-DE/web/ ... a_tag.html

Ansonsten... Wäre die Sitemap nicht verlinkt, dann wäre sie auch nicht im Index. Daher nenne ich meine nie sitemap.xml, zumindest nicht die, die 100% nicht in den Index sollen. Wer sie nicht findet kann sie nicht verlinken, kann somit nicht in den Index.

Beitrag von **Hirnhamster** » 14.02.2011, 22:36

Mit wärs ziemlich egal - wer sucht schon nach meiner sitemap? Und wenn jemand anderes drauf verlinkt: warum nicht, den Link nehm ich doch mit ^^

aber on topic: danke für die Links, daran hab ich gar nicht gedacht. Hat das mal jemand probiert?

Beitrag von **Synonym** » 15.02.2011, 09:26

Also versucht habe ich das noch nicht, aber es soll wohl funktionieren. Die Beispiele auf der Seite sind speziell für Download-Files wie PDF, MP3 und so gedacht, aber somit müsste es auch für die Sitemap gehen.

Was mir da allerdings viel mehr Kopfzerbrechen bereitet... Alle SEO-Tools prüfen Seiten und <head> Bereiche auf noindex / nofollow, einige auch die robots.txt, aber wer prüft denn den HTTP-Header? Damit könnte man seine Linkpartner auch gut verarschen und so gut wie keiner würde es merken.

Werde wohl gleich mal bei meinem eigenen Script eine Optimierung vornehmen müssen

Beitrag von **Malte Landwehr** » 15.02.2011, 11:18

Synonym hat geschrieben:Alle SEO-Tools prüfen Seiten und <head> Bereiche auf noindex / nofollow, einige auch die robots.txt, aber wer prüft denn den HTTP-Header?)

Dafür gibt es z.B. das Firefox Plugin SeeRobots.

Beitrag von **Synonym** » 15.02.2011, 11:26

ok, das kannte ich nicht. Aber das bringt halt auch nicht viel, wenn man seine Partner automatisiert prüft. Da muss das Script den Header mit auswerten und das tun keines der mir bekannten, abgesehen vom Status.

Das "Highlight Nofollow" vom SearchStatus wertet es auch nicht aus.

Nachtrag: Hab das jetzt mal installiert. Gibt es da eine Möglichkeit, dass man nicht extra klicken muss? Und das grüne "none" ist auch etwas verwirrend, dann die Angabe "none" gibt es ja und bedeutet "noindex, nofollow", die erkennt das AddOn aber nicht

Beitrag von **logogoe** » 14.09.2011, 15:48

Hallo zusammen!

Würde das Thema hier ganz gern noch mal aufgreifen.
Meine sitemap.xml wurde von google infiziert ... äh nee, indiziert (obwohl sie nicht verlinkt ist), was zur Folge hat, dass google-webmaster-tools mir jetzt sagt, "php" wäre mein zweitwichtigstes keyword. Denn meine ganzen php-Seiten stehen natürlich auf der sitemap mit der Endung .php

Meine Website hat natürlich - außer dass sie aus PHP-Seiten besteht - gar nichts mit php zu tun. Von daher ist mir das nicht so recht. Und ich hätte die sitemap ganz gern raus aus dem Index.

Mein Plan ist jetzt:
sitemap.xml umbenennen und den alten Link per 301 auf die Startseite linken.

und in .htaccess:
Sitemap: https://meineseite.de/sitemapneu.xml
<FilesMatch "sitemapneu.xml$">
Header append X-Robots-Tag "noindex"
</FilesMatch>

Meint ihr das klappt?

Beitrag von **Barthel** » 14.09.2011, 16:40

logogoe hat geschrieben: Mein Plan ist jetzt:
sitemap.xml umbenennen und den alten Link per 301 auf die Startseite linken.

Ich würde was drauf wetten, dass die Sitemap nur indexiert wird, wenn sie irgendwie verlinkt ist. Wenn du den Link entfernst und die Sitemap dann per WMT aus dem Index schmeißt, sollte das reichen. Falls du den Link nicht findest, kannst du das mit dem 301 machen, dann behältst du halt den Link auf die Sitemap, vielleicht ist das ja ein ganz toller

Bei keiner meiner Seiten ist die Sitemap im Index, ich denke also Google schnappt sie sich nicht einfach so, wenn sie nicht irgendwie verlinkt ist.

Und Edith sagt, dass du die Sitemap auch einfach mal nur per WMT rausschmeißen könntest, vielleicht reicht das ja auch schon.

Beitrag von **logogoe** » 15.09.2011, 08:26

Meint ihr dann das mit dem

<FilesMatch "sitemapneu.xml$">
Header append X-Robots-Tag "noindex"
</FilesMatch>

in der .htaccess brauch ich gar nicht?

Ich habe keinen Link gefunden (Backlinkchecker usw.), kann natürlich nicht ausschließen, dass es doch irgendwo einen gibt. Aber einen Link erstellt ja schon WMT selber: Unter XML-Sitemaps steht "XML-Sitemap anzeigen" und linkt auf meine Sitemap ...