Kapiert Google diese Anweisung?

Beitrag von **Drachengold** » 23.11.2005, 16:05

Mich nervt es, dass der Googlebot ständig sämtliche Links aufruft, nur nicht die, hinter denen sich eigentlich die Themen und Beiträge des Forums verstecken. Ergebnis ist, dass er ständig bei Fehlermeldungen landet und diese dann auch noch in den Index nimmt.

Nun hab ich mal eine robots.txt nur für Googlebot erstellt und dort sämtliche Aktionen verboten, bis auf die, mit der man Themen aufrufen kann. Die URL solch einer Aktion sieht z. B. so aus:

/cgi-bin/yabb3/YaBB.pl?action=viewprofile;username=admin

Da Google Wildcards unterstützt, hab ich das so in die robots.txt eingetragen:

Code: Alles auswählen

 User-agent&#58; Googlebot  
Disallow&#58; /cgi-bin/yabb3/*action=viewprofile*

Ich muss vorne und hinten Wildcards machen, da der String "action=viewprofile" sich mal hier und mal dort in der URL befindet.

Passt das so?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Der_Benno** » 23.11.2005, 16:15

Einen Versuch ist das wohl wert. Aber seit einigen Wochen scheint dem Googlebot nix mehr heilig zu sein - der spidert alles, was er vor die Flinte bekommt...

Beitrag von **Drachengold** » 23.11.2005, 16:36

Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.

von **Anzeige von ABAKUS** »

Beitrag von **Chris2005** » 23.11.2005, 16:50

Drachengold hat geschrieben:Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.

Ich darf an diesen Thread erinneren. Theme 302 Weiterleitung, "falsche URL" und nicht sumaoptimiertes Forum.

Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.

Beitrag von **Drachengold** » 23.11.2005, 16:53

Wenn das so problematisch wäre, hätte Google nicht schon fast 600 Seiten von uns im Index, oder?

Beitrag von **Chris2005** » 23.11.2005, 16:56

600 Seiten bei 2717 Themen? Mit statischen URLs und ohne Weiterleitung haettest Du laengst das komplette Forum indiziert...

Aber ist in Ordnung... Ist ja nicht mein Projekt

Beitrag von **Drachengold** » 23.11.2005, 17:06

Es sind nur 1028 Themen für Gäste und somit auch für den Googlebot zugänglich. Und was kaust du ständig auf der Weiterleitung rum? Man kann das Board auch direkt ohne Weiterleitung aufrufen, und so ist es ja zu 99% auch im Index von Google. Die Weiterleitung ist nur für die Leute, die sich die komplette URL nicht merken können/wollen.

Und letztendlich geht es hier darum, ob der Googlebot die Anweisung da oben versteht

Beitrag von **axelm** » 23.11.2005, 17:13

Zu Frage: * Also Wildcards sind nicht erlaubt, Das hat mir auch ein Google Techi.bestätigz.

Beitrag von **Drachengold** » 23.11.2005, 17:16

Wieso geben die dann auf der Google Website z. B. selbst das hier an:

Disallow: /*.gif$

?

https://www.google.de/intl/de/webmasters/remove.html

Laut der Seite sind Wildcards erlaubt.

Beitrag von **Chris2005** » 23.11.2005, 18:01

Wildcards funktionieren bei Google... Zwar nicht bei der URL Console, aber in der "normalen" robots.txt ja.

Beitrag von **Drachengold** » 23.11.2005, 18:09

Gut, danke - dann heißt es jetzt wie immer abwarten und Tee... Cappu trinken.

Von wegen SuMa-freundlichen URL's muss ich halt mal schauen, ob und was sich machen lässt.

Beitrag von **axelm** » 23.11.2005, 18:45

Hast recht ist neu, dann sollte es klappen.

Beitrag von **gretzeugen** » 23.11.2005, 20:12

Chris2005 hat geschrieben:
Drachengold hat geschrieben:Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.
Wie mache ich das genau, irgendwie funktioniert sowas nicht bei mir?????? Danke!

Beitrag von **Chris2005** » 23.11.2005, 21:23

Wie sieht deine robots.txt aus?

Beitrag von **gretzeugen** » 23.11.2005, 21:27

User-agent: *
Disallow: /banners.php?*

Es sind aber 38 Seiten im Google Index