ABAKUS

Verfasst: **08.10.2007, 11:09**

Wahh ich hasse Google

Google schafft es immer wieder genau das aufzunehmen was er nicht soll.
Ich habe mit meinem php-Board SEO-Url mod installiert und im Grunde lass ich Google auch nur so verfahren das er bloß nicht diesen scheiß aufnehmen soll aber natürlich genau das macht Google d.h.:

https://www.spiele-umsonst.de/viewtopic,p,272.html nimmt er auf

https://www.spiele-umsonst.de/berlin-co ... -t269.html das soll er aber

ich weiß nicht wie google das schafft wobei ich eigentlich dachte das 99,9% meines Boards nur das unterstützen anders auf viewtopic zu kommen.

Hier mal die Robots.txt

https://www.spiele-umsonst.de/robots.txt

What to do

?

Verfasst: **08.10.2007, 11:28**

sind ja auch beide symbolische uris vorhanden und mit Links, die der spider so verfolgt.
Ich würde der Variante die er nicht verfolgen soll einen 404er oder 301er mitgeben.

Aber neuerdings schickt der Spider auch bei mir Formulare ab und bläht mit den Suchergebnissen die Seitenanzahl auf.

planta
die Welt braucht mehr Grün

Verfasst: **08.10.2007, 15:57**

Und wenn Du die Änderung erst kürzlich vorgenommen hast, dann kann das ein wenig dauern. Ein 301er sollte helfen...

Verfasst: **08.10.2007, 16:47**

Ich habe das selbe Problem das Google Seiten aufnimmt, die es eigentlich nicht aufnehmen soll.

Kann ich eigentlich Google auch sagen das Seiten mit einem bestimmten Parameter in der URL nicht mit aufgenommen werden soll?

z.B. wunschzettel.html&meta=3
nachricht.html&meta=3

Es sollen also alle URL's/HTML-Seiten die den Parameter meta=3 enthalten NICHT mit aufgenommen werden .

Danke für die Hilfe im voraus

Verfasst: **10.10.2007, 23:12**

Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die

Verfasst: **11.10.2007, 08:43**

du musst den googlebot direkt ansprechen!

User-agent: Googlebot
Dissallow....

Verfasst: **11.10.2007, 14:51**

Ich habe google jetzt auch noch eine Sitemap.xml gespendet

ja, da freut er sich

(aber was damit machen tut er nicht

)

Verfasst: **11.10.2007, 15:05**

boodi.de hat geschrieben:Ich habe das selbe Problem das Google Seiten aufnimmt, die es eigentlich nicht aufnehmen soll.

Kann ich eigentlich Google auch sagen das Seiten mit einem bestimmten Parameter in der URL nicht mit aufgenommen werden soll?

z.B. wunschzettel.html&meta=3
nachricht.html&meta=3

Es sollen also alle URL's/HTML-Seiten die den Parameter meta=3 enthalten NICHT mit aufgenommen werden .

Danke für die Hilfe im voraus

Versuchs mit Disallow: *meta=3*

Aber ob das funktioniert, keine garantie?!

Verfasst: **11.10.2007, 15:36**

QuanChi hat geschrieben:Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die

@ QuanChi: Welches Tool benutzt du dazu? Würde mich mal interessieren

...

Verfasst: **11.10.2007, 16:38**

@QuanChi: schreibe einfach eine vernüftige robots.txt:

User-agent: *
Disallow: /v

und alles, was mit "/v" beginnt, wird nicht mehr indiziert bzw. demnächst entfernt. Fertig.

Verfasst: **12.10.2007, 00:07**

@QuanChi: In den Google Webmaster Tools findest Du ein robots.txt - Tool. Damit kannst Du prüfen, was Google bei einer bestimmten robots.txt und entprechenden URLs macht. Du siehst die robots.txt die Google von Dir hat, kannst diese editieren und dann URLs angeben und prüfen ob Google diese verwendet oder dann gesperrt sind.

Der Vorschlag von NetLook sollte funktionieren. Wobei Du den Stern am Ende nicht benötigst.

Ciao,
Mike

Verfasst: **12.10.2007, 19:13**

@MikeK - auch für dich die Quelle: https://www.robotstxt.org/ .

Weshalb immer Vorschlag, sollte funktionieren usw.? - Informieren, aber an der richtigen Stelle, richtig erstellen, fertig.

Vor allem: niemand wird mehr verwirrt

Verfasst: **12.10.2007, 21:29**

@pr_sniper:

Die Quelle ist schon bekannt, aber such mal das so etwas wie *s= ...

Dort findest Du:

Note also that regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "Disallow: /tmp/*" or "Disallow: *.gif".

Ein

Code: Alles auswählen

Disallow&#58; *s=

sollte also gar nicht funktionieren, oder?

Ich möchte URLs mit solchen Parametern aussperren:
... .php?pr=0&s=A&p=2

Lasse ich den * weg, sperrt Google sie nicht. Mit dem * werden sie gesperrt, entgegen den Richtlinien.

Daher: Mit den Google Webmastertools prüfen was Google alles so akzeptiert (sollte, könnte, müsste)!

Ciao,
Mike

Verfasst: **13.10.2007, 18:15**

Der Googlebot ist aber auch selten dämlich... er hat noch nicht mal meine Navigation vollständig verlinkt und erst 1 link zu einem freegame gefunden.. Also nee wer das programmiert hat...

Verfasst: **13.10.2007, 18:18**

boodi.de hat geschrieben:
QuanChi hat geschrieben:Ich habe google jetzt auch noch eine Sitemap.xml gespendet die nur die richtigen Links anzeigt und alle 24std per cronjob aktualisiert werden... wenn jetzt langsam nichts vernüftiges im index auftaucht verklag ich die
@ QuanChi: Welches Tool benutzt du dazu? Würde mich mal interessieren ...

Also ich habe für phpbbv2 ein code gefunden der eine sitemap erstellt.
Willst du den haben ?