ABAKUS

Hallo Leute

Momentan meckert Google andauernd wegen der robots.txt das URLs blockiert
werden. Es sind über 3.039 Blockierte URLs, welche gar nicht Blockiert sein dürften.

Momentan sieht meine Sitemap wie folgt aus: Ich hatte letzte Woche auch schon und Disallow: / versucht. Aber es ändert sich nichts.

Was muss ich einfügen? :/

Es gibt streng genommen kein Allow, nur Disallow, auch wenn Google da großzügig ist. Setz die Freigaben vor die allgemeine Sperrung, die gehört ans Ende, dann sollte es klappen.

Generell macht eine solche Robots.txt aber wenig Sinn, denn die die Du durch den globalen Disallow: / auschließen willst halten sich meist eh nicht an die Robots.txt. Da hilft nur echtes Aussperren per .htaccess.

Was macht das für einen Sinn? Du sperrst alles aus und wunderst dich dann, dass die Seiten nicht indexiert werden?

Welches Ziel verfolgst Du mit der robots.txt? Wenn ich das richtig sehe, möchtest Du nur bestimmte Bots Deine Seiten indexieren lassen.

Ich bin da etwas skeptisch. Die bösen Bots halten sich sowieso nicht daran.

Verwende zum Sperren einzelner Seiten lieber die Meta-robots-Anweisung im HTML.

Gruß,
Christian

Hallo,

also ich will Google, MSN/Yahoo/Slurp zulassen und alle anderen aussperren.
Reicht es, wenn ich nun wie Vegas User-Agent: * ans Ende schiebe oder soll ich noch was ändern?

PS: Allow gibt es i.wie schon, Google listet es selber auf: https://support.google.com/webmasters/b ... wer=156449

Nokes hat geschrieben:PS: Allow gibt es i.wie schon, Google listet es selber auf:

Du kannst Dich aber nicht darauf verlassen:

Es besteht übrigens keine Möglichkeit, Verzeichnisse explizit für die Indizierung zu erlauben. Ein Schlüsselwort Allow: wurde niemals definiert.

.
https://de.selfhtml.org/diverses/robots.htm

Den meisten Bots dürfte eine robots.txt ohnehin nicht sonderlich interessieren.

Den meisten Bots dürfte eine robots.txt ohnehin nicht sonderlich interessieren.

Viele Dienste wie Seitwert und so weiter achten aber darauf. Mir geht es ja nicht umbedingt um diese "Bösen Crawler".

Die Reihenfolge vertauschen sollte dann wohl genügen, doch hast Du alle Bots aufgeführt?

Googlebot-Mobile, AdsBot-Google

Es genügt wohl dann nur den Googlebot durchzuwinken, bis auf den AdsBot, der geht eigene Wege:

https://developers.google.com/webmaster ... s?hl=de-DE