ABAKUS

Verfasst: **04.01.2008, 18:28**

HI,

Gibt es einen Grund warum Google die robots.txt nicht mehr beachtet?

Auszug:

User-agent&#58; *
Disallow&#58; /re/

User-agent&#58; Googlebot
Disallow&#58; /re.php?

im Verzeichnis /re liegt eine Weiterleitung zu Amazon

Google erzeugt Duplikate ohne Ende ....
Der Inhalt der Amazonseite wird meiner URL (Seite) zugeordnet.
Das zeigt mir jedenfalls der Cache von Google
(https://209.85.129.104/search?q=cache: ............)

RW

Verfasst: **05.01.2008, 16:06**

Warum machst du aus

Code: Alles auswählen

Disallow&#58; /re.php?

nicht

Code: Alles auswählen

Disallow&#58; /re/

?

Denn wenn /re/ wirklich ein Verzeichnis ist, sperrst du mit deinem Code ja nur die Datei re.php.

Verfasst: **06.01.2008, 11:47**

HI,
nXplorer

Danke für Deine Antwort!

https://www.google.com/support/webmaste ... topic=8846

Demnach sollte die erste Regel meiner txt auch für Google bestand haben

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /re/

die zweite Regel sollte eine Sicherheit darstellen das eben kein Weiterleitung von Google verfolgt wird.

Die ganze Sache war auch über Jahre hinweg funktionell.

Ich finde es nur erstaunlich das Google sich neuerdings nicht mehr an den Standard ( https://www.robotstxt.org ) hält.

Stichwort: - Firmeninterne Daten -

per robots schützen ist nicht mehr.

RW

Verfasst: **06.01.2008, 12:12**

HI

Und hier noch ein Link zun Thema:

Spion Google