Kapiert Google diese Anweisung?

[Drachengold]

Mich nervt es, dass der Googlebot ständig sämtliche Links aufruft, nur nicht die, hinter denen sich eigentlich die Themen und Beiträge des Forums verstecken. Ergebnis ist, dass er ständig bei Fehlermeldungen landet und diese dann auch noch in den Index nimmt.

Nun hab ich mal eine robots.txt nur für Googlebot erstellt und dort sämtliche Aktionen verboten, bis auf die, mit der man Themen aufrufen kann. Die URL solch einer Aktion sieht z. B. so aus:

/cgi-bin/yabb3/YaBB.pl?action=viewprofile;username=admin

Da Google Wildcards unterstützt, hab ich das so in die robots.txt eingetragen:

Code: Alles auswählen

 User-agent: Googlebot  
Disallow: /cgi-bin/yabb3/*action=viewprofile*

Ich muss vorne und hinten Wildcards machen, da der String "action=viewprofile" sich mal hier und mal dort in der URL befindet.

Passt das so?

[Der_Benno]

Einen Versuch ist das wohl wert. Aber seit einigen Wochen scheint dem Googlebot nix mehr heilig zu sein - der spidert alles, was er vor die Flinte bekommt...

[Drachengold]

Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.

[Chris2005]

Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.

Ich darf an diesen Thread erinneren. Theme 302 Weiterleitung, "falsche URL" und nicht sumaoptimiertes Forum.

Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.

[Drachengold]

Wenn das so problematisch wäre, hätte Google nicht schon fast 600 Seiten von uns im Index, oder?

[Chris2005]

600 Seiten bei 2717 Themen? Mit statischen URLs und ohne Weiterleitung haettest Du laengst das komplette Forum indiziert...

Aber ist in Ordnung... Ist ja nicht mein Projekt

[Drachengold]

Es sind nur 1028 Themen für Gäste und somit auch für den Googlebot zugänglich. Und was kaust du ständig auf der Weiterleitung rum? Man kann das Board auch direkt ohne Weiterleitung aufrufen, und so ist es ja zu 99% auch im Index von Google. Die Weiterleitung ist nur für die Leute, die sich die komplette URL nicht merken können/wollen.

Und letztendlich geht es hier darum, ob der Googlebot die Anweisung da oben versteht

[axelm]

Zu Frage: * Also Wildcards sind nicht erlaubt, Das hat mir auch ein Google Techi.bestätigz.

[Drachengold]

Wieso geben die dann auf der Google Website z. B. selbst das hier an:

Disallow: /*.gif$

?

https://www.google.de/intl/de/webmasters/remove.html

Laut der Seite sind Wildcards erlaubt.

[Chris2005]

Wildcards funktionieren bei Google... Zwar nicht bei der URL Console, aber in der "normalen" robots.txt ja.

[Drachengold]

Gut, danke - dann heißt es jetzt wie immer abwarten und Tee... Cappu trinken.

Von wegen SuMa-freundlichen URL's muss ich halt mal schauen, ob und was sich machen lässt.

[axelm]

Hast recht ist neu, dann sollte es klappen.

[gretzeugen]

Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.

Wie mache ich das genau, irgendwie funktioniert sowas nicht bei mir?????? Danke!

[Chris2005]

Wie sieht deine robots.txt aus?

[gretzeugen]

User-agent: *
Disallow: /banners.php?*

Es sind aber 38 Seiten im Google Index