Sitemap gesperrt (robots.txt) - wie Zugriff erlauben?

Beitrag von **nitg** » 23.03.2011, 09:08

Hallo zusammen!

Habe meine robots.txt so eingerichtet:

Disallow: /index.php
Sitemap: https://www.kbcomputer.at/index.php?opt ... 1&view=xml
Allow: /index.php?option=com_xmap&sitemap=1&view=xml

In den Google Webmaster-Tools erhalte ich aber den Fehler, dass die Sitemap durch die robots.txt gesperrt ist.

Gibts da vielleicht eine Lösung, dass ich nur die URL zur Sitemap öffne?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **luzie** » 23.03.2011, 09:53

Na die Sitemap umbenennen? (wieso ist index.php gesperrt?)

Beitrag von **kalonis** » 23.03.2011, 10:13

Die Angabe der Sitemap ist ja nicht User-Agent spezifisch, deshalb gehört sie nicht in den Block, unter den User-Agent, sondern am besten in die erste Zeile der robots.txt vor allen anderen Angaben.

Das wird das Problem aber wohl auch nicht lösen. Ich würde in der .htacces (oder der entsprechenden Datei deines Servers) die Anfrage für /sitemap.xml intern auf /index.php?option=com_xmap&sitemap=1&view=xml umleiten. Dann musst du in der robots.txt keine komplizierten Ausnahmen mehr einfügen, sondern kannst einfach die Datei sitemap.xml als Sitemap angeben.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **nitg** » 24.03.2011, 11:51

hallo und danke für die antworten!

ich hab "disallow: /index.php" in der robots.txt, weil google ursprünglich meine Seiten doppelt indexiert hat, einmal mit index.php und einmal die "schönen" Links. Könnt ich das auch anders umgehen?

Ich würd das jetzt auch gern in die htaccess eintragen. Könnt Ihr mir vielleicht sagen, was für eine Zeile ich da genau eintragen muss? Die htaccess überblick ich noch nicht so ganz....

Beitrag von **kalonis** » 24.03.2011, 12:09

nitg hat geschrieben:Ich würd das jetzt auch gern in die htaccess eintragen. Könnt Ihr mir vielleicht sagen, was für eine Zeile ich da genau eintragen muss? Die htaccess überblick ich noch nicht so ganz....

Die interne Umleitung kannst du einfach über eine RewriteRule einrichten. Anders als ein Redirect wird bei einem einfachen Rewrite kein neuer Header an den Client gesandt, sondern die Ausgabe des neuen Ausrufes als Antwort auf die Anfrage zur umgeleiteten URL übermittelt. Das sieht dann so aus:

Code: Alles auswählen

RewriteEngine on
RewriteRule ^sitemap.xml$ index.php?option=com_xmap&sitemap=1&view=xml &#91;nc,l&#93;

Danach ist deine Sitemap einfach unter www.dein-host.de/sitemap.xml erreichbar.

Wenn du es ein bisschen technischer und genauer haben willst, schaust du hier: https://httpsd.apache.org/docs/2.0/mod/mod_rewrite.html