Robots.txt

Beitrag von **QuanChi** » 08.10.2007, 11:09

Wahh ich hasse Google

Google schafft es immer wieder genau das aufzunehmen was er nicht soll.
Ich habe mit meinem php-Board SEO-Url mod installiert und im Grunde lass ich Google auch nur so verfahren das er bloß nicht diesen scheiß aufnehmen soll aber natürlich genau das macht Google d.h.:

https://www.spiele-umsonst.de/viewtopic,p,272.html nimmt er auf

https://www.spiele-umsonst.de/berlin-co ... -t269.html das soll er aber

ich weiß nicht wie google das schafft wobei ich eigentlich dachte das 99,9% meines Boards nur das unterstützen anders auf viewtopic zu kommen.

Hier mal die Robots.txt

https://www.spiele-umsonst.de/robots.txt

What to do

?

von **Anzeige von ABAKUS** »

Beitrag von **planta** » 08.10.2007, 11:28

sind ja auch beide symbolische uris vorhanden und mit Links, die der spider so verfolgt.
Ich würde der Variante die er nicht verfolgen soll einen 404er oder 301er mitgeben.

Aber neuerdings schickt der Spider auch bei mir Formulare ab und bläht mit den Suchergebnissen die Seitenanzahl auf.

planta
die Welt braucht mehr Grün

Beitrag von **w3news** » 08.10.2007, 15:57

Und wenn Du die Änderung erst kürzlich vorgenommen hast, dann kann das ein wenig dauern. Ein 301er sollte helfen...

von **Anzeige von ABAKUS** »

Beitrag von **boodi.de** » 08.10.2007, 16:47

Ich habe das selbe Problem das Google Seiten aufnimmt, die es eigentlich nicht aufnehmen soll.

Kann ich eigentlich Google auch sagen das Seiten mit einem bestimmten Parameter in der URL nicht mit aufgenommen werden soll?

z.B. wunschzettel.html&meta=3
nachricht.html&meta=3

Es sollen also alle URL's/HTML-Seiten die den Parameter meta=3 enthalten NICHT mit aufgenommen werden .

Danke für die Hilfe im voraus

Beitrag von **QuanChi** » 10.10.2007, 23:12

Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die

Beitrag von **Reddog** » 11.10.2007, 08:43

du musst den googlebot direkt ansprechen!

User-agent: Googlebot
Dissallow....

Beitrag von **luzie** » 11.10.2007, 14:51

Ich habe google jetzt auch noch eine Sitemap.xml gespendet

ja, da freut er sich

(aber was damit machen tut er nicht

)

Beitrag von **NetLook** » 11.10.2007, 15:05

boodi.de hat geschrieben:Ich habe das selbe Problem das Google Seiten aufnimmt, die es eigentlich nicht aufnehmen soll.

Kann ich eigentlich Google auch sagen das Seiten mit einem bestimmten Parameter in der URL nicht mit aufgenommen werden soll?

z.B. wunschzettel.html&meta=3
nachricht.html&meta=3

Es sollen also alle URL's/HTML-Seiten die den Parameter meta=3 enthalten NICHT mit aufgenommen werden .

Danke für die Hilfe im voraus

Versuchs mit Disallow: *meta=3*

Aber ob das funktioniert, keine garantie?!

Beitrag von **boodi.de** » 11.10.2007, 15:36

QuanChi hat geschrieben:Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die

@ QuanChi: Welches Tool benutzt du dazu? Würde mich mal interessieren

...

Beitrag von **pr_sniper** » 11.10.2007, 16:38

@QuanChi: schreibe einfach eine vernüftige robots.txt:

User-agent: *
Disallow: /v

und alles, was mit "/v" beginnt, wird nicht mehr indiziert bzw. demnächst entfernt. Fertig.

Beitrag von **MikeK** » 12.10.2007, 00:07

@QuanChi: In den Google Webmaster Tools findest Du ein robots.txt - Tool. Damit kannst Du prüfen, was Google bei einer bestimmten robots.txt und entprechenden URLs macht. Du siehst die robots.txt die Google von Dir hat, kannst diese editieren und dann URLs angeben und prüfen ob Google diese verwendet oder dann gesperrt sind.

Der Vorschlag von NetLook sollte funktionieren. Wobei Du den Stern am Ende nicht benötigst.

Ciao,
Mike

Beitrag von **pr_sniper** » 12.10.2007, 19:13

@MikeK - auch für dich die Quelle: https://www.robotstxt.org/ .

Weshalb immer Vorschlag, sollte funktionieren usw.? - Informieren, aber an der richtigen Stelle, richtig erstellen, fertig.

Vor allem: niemand wird mehr verwirrt

Beitrag von **MikeK** » 12.10.2007, 21:29

@pr_sniper:

Die Quelle ist schon bekannt, aber such mal das so etwas wie *s= ...

Dort findest Du:

Note also that regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "Disallow: /tmp/*" or "Disallow: *.gif".

Ein

Code: Alles auswählen

Disallow&#58; *s=

sollte also gar nicht funktionieren, oder?

Ich möchte URLs mit solchen Parametern aussperren:
... .php?pr=0&s=A&p=2

Lasse ich den * weg, sperrt Google sie nicht. Mit dem * werden sie gesperrt, entgegen den Richtlinien.

Daher: Mit den Google Webmastertools prüfen was Google alles so akzeptiert (sollte, könnte, müsste)!

Ciao,
Mike

Beitrag von **QuanChi** » 13.10.2007, 18:15

Der Googlebot ist aber auch selten dämlich... er hat noch nicht mal meine Navigation vollständig verlinkt und erst 1 link zu einem freegame gefunden.. Also nee wer das programmiert hat...

Beitrag von **QuanChi** » 13.10.2007, 18:18

boodi.de hat geschrieben:
QuanChi hat geschrieben:Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die
@ QuanChi: Welches Tool benutzt du dazu? Würde mich mal interessieren ...

Also ich habe für phpbbv2 ein code gefunden der eine sitemap erstellt.
Willst du den haben ?