Google und Robots.txt..

Beitrag von **Nokes** » 21.01.2013, 22:41

Hallo Leute

Momentan meckert Google andauernd wegen der robots.txt das URLs blockiert
werden. Es sind über 3.039 Blockierte URLs, welche gar nicht Blockiert sein dürften.

Momentan sieht meine Sitemap wie folgt aus:

Code: Alles auswählen

User-Agent&#58; *
Disallow&#58; /

User-Agent&#58; Googlebot
Disallow&#58; 

User-Agent&#58; Googlebot-Image
Disallow&#58; 

User-agent&#58; Mediapartners-Google*
Disallow&#58; 

User-Agent&#58; Slurp
Allow&#58; /

User-Agent&#58; msnbot
Disallow&#58; 

Sitemap&#58; http&#58;//giga-tags.com/sitemap.xml.gz

Ich hatte letzte Woche auch schon

Code: Alles auswählen

User-Agent&#58; Googlebot
Allow&#58;

und Disallow: / versucht. Aber es ändert sich nichts.

Was muss ich einfügen? :/

von **Anzeige von ABAKUS** »

Beitrag von **Vegas** » 21.01.2013, 23:30

Es gibt streng genommen kein Allow, nur Disallow, auch wenn Google da großzügig ist. Setz die Freigaben vor die allgemeine Sperrung, die gehört ans Ende, dann sollte es klappen.

Generell macht eine solche Robots.txt aber wenig Sinn, denn die die Du durch den globalen Disallow: / auschließen willst halten sich meist eh nicht an die Robots.txt. Da hilft nur echtes Aussperren per .htaccess.

Beitrag von **Chh1** » 22.01.2013, 08:13

Was macht das für einen Sinn? Du sperrst alles aus und wunderst dich dann, dass die Seiten nicht indexiert werden?

Beitrag von **Christian Kunz** » 22.01.2013, 09:27

Welches Ziel verfolgst Du mit der robots.txt? Wenn ich das richtig sehe, möchtest Du nur bestimmte Bots Deine Seiten indexieren lassen.

Ich bin da etwas skeptisch. Die bösen Bots halten sich sowieso nicht daran.

Verwende zum Sperren einzelner Seiten lieber die Meta-robots-Anweisung im HTML.

Gruß,
Christian

Beitrag von **Nokes** » 22.01.2013, 13:53

Hallo,

also ich will Google, MSN/Yahoo/Slurp zulassen und alle anderen aussperren.
Reicht es, wenn ich nun wie Vegas User-Agent: * ans Ende schiebe oder soll ich noch was ändern?

PS: Allow gibt es i.wie schon, Google listet es selber auf: https://support.google.com/webmasters/b ... wer=156449

Beitrag von **Melegrian** » 22.01.2013, 17:49

Nokes hat geschrieben:PS: Allow gibt es i.wie schon, Google listet es selber auf:

Du kannst Dich aber nicht darauf verlassen:

Es besteht übrigens keine Möglichkeit, Verzeichnisse explizit für die Indizierung zu erlauben. Ein Schlüsselwort Allow: wurde niemals definiert.

.
https://de.selfhtml.org/diverses/robots.htm

Den meisten Bots dürfte eine robots.txt ohnehin nicht sonderlich interessieren.

Beitrag von **Nokes** » 22.01.2013, 18:25

Den meisten Bots dürfte eine robots.txt ohnehin nicht sonderlich interessieren.

Viele Dienste wie Seitwert und so weiter achten aber darauf. Mir geht es ja nicht umbedingt um diese "Bösen Crawler".

Beitrag von **Melegrian** » 22.01.2013, 21:12

Die Reihenfolge vertauschen sollte dann wohl genügen, doch hast Du alle Bots aufgeführt?

Googlebot-Mobile, AdsBot-Google

Es genügt wohl dann nur den Googlebot durchzuwinken, bis auf den AdsBot, der geht eigene Wege:

https://developers.google.com/webmaster ... s?hl=de-DE