Seite 1 von 2
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:05
von Drachengold
Mich nervt es, dass der Googlebot ständig sämtliche Links aufruft, nur nicht die, hinter denen sich eigentlich die Themen und Beiträge des Forums verstecken. Ergebnis ist, dass er ständig bei Fehlermeldungen landet und diese dann auch noch in den Index nimmt.
Nun hab ich mal eine robots.txt nur für Googlebot erstellt und dort sämtliche Aktionen verboten, bis auf die, mit der man Themen aufrufen kann. Die URL solch einer Aktion sieht z. B. so aus:
/cgi-bin/yabb3/YaBB.pl?action=viewprofile;username=admin
Da Google Wildcards unterstützt, hab ich das so in die robots.txt eingetragen:
Code: Alles auswählen
User-agent: Googlebot
Disallow: /cgi-bin/yabb3/*action=viewprofile*
Ich muss vorne und hinten Wildcards machen, da der String "action=viewprofile" sich mal hier und mal dort in der URL befindet.
Passt das so?
Verfasst:
von
Hochwertiger Linkaufbau bei ABAKUS:
- Google-konformer Linkaufbau
- nachhaltiges Ranking
- Linkbuilding Angebote zu fairen Preisen
- internationale Backlinks
Wir bieten
Beratung und
Umsetzung.
Jetzt anfragen:
0511 / 300325-0
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:15
von Der_Benno
Einen Versuch ist das wohl wert. Aber seit einigen Wochen scheint dem Googlebot nix mehr heilig zu sein - der spidert alles, was er vor die Flinte bekommt...
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:36
von Drachengold
Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.
Re: Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:50
von Chris2005
Drachengold hat geschrieben:Schön wär's, früher waren oft 10 Bots gleichzeitig da, jetzt verirrt sich alle paar Tage mal EINER zu uns, und der lungert dann nur auf der Forenübersicht rum.
Ich darf an diesen
Thread erinneren. Theme 302 Weiterleitung, "falsche URL" und nicht sumaoptimiertes Forum.
Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:53
von Drachengold
Wenn das so problematisch wäre, hätte Google nicht schon fast 600 Seiten von uns im Index, oder?
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 16:56
von Chris2005
600 Seiten bei 2717 Themen? Mit statischen URLs und ohne Weiterleitung haettest Du laengst das komplette Forum indiziert...
Aber ist in Ordnung... Ist ja nicht mein Projekt
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 17:06
von Drachengold
Es sind nur 1028 Themen für Gäste und somit auch für den Googlebot zugänglich. Und was kaust du ständig auf der Weiterleitung rum? Man kann das Board auch direkt ohne Weiterleitung aufrufen, und so ist es ja zu 99% auch im Index von Google. Die Weiterleitung ist nur für die Leute, die sich die komplette URL nicht merken können/wollen.
Und letztendlich geht es hier darum, ob der Googlebot die Anweisung da oben versteht
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 17:13
von axelm
Zu Frage: * Also Wildcards sind nicht erlaubt, Das hat mir auch ein Google Techi.bestätigz.
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 17:16
von Drachengold
Wieso geben die dann auf der Google Website z. B. selbst das hier an:
Disallow: /*.gif$
?
https://www.google.de/intl/de/webmasters/remove.html
Laut der Seite sind Wildcards erlaubt.
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 18:01
von Chris2005
Wildcards funktionieren bei Google... Zwar nicht bei der URL Console, aber in der "normalen" robots.txt ja.
Verfasst: 23.11.2005, 18:09
von Drachengold
Gut, danke - dann heißt es jetzt wie immer abwarten und Tee... Cappu trinken.
Von wegen SuMa-freundlichen URL's muss ich halt mal schauen, ob und was sich machen lässt.
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 18:45
von axelm
Hast recht ist neu, dann sollte es klappen.
Re: Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 20:12
von gretzeugen
Chris2005 hat geschrieben:Drachengold hat geschrieben:Wenn Du Dein Forum Sumaoptimiert waere sperrst Du einfach alle Links mit dem ? und gut ist. Neben weiteren Vorteilen.
Wie mache ich das genau, irgendwie funktioniert sowas nicht bei mir?????? Danke!
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 21:23
von Chris2005
Wie sieht deine robots.txt aus?
Kapiert Google diese Anweisung?
Verfasst: 23.11.2005, 21:27
von gretzeugen
User-agent: *
Disallow: /banners.php?*
Es sind aber 38 Seiten im Google Index
