robots.txt

Beitrag von RW » 04.01.2008, 18:28

HI,

Gibt es einen Grund warum Google die robots.txt nicht mehr beachtet?

Auszug:

User-agent&#58; *
Disallow&#58; /re/

User-agent&#58; Googlebot
Disallow&#58; /re.php?

im Verzeichnis /re liegt eine Weiterleitung zu Amazon

Google erzeugt Duplikate ohne Ende ....
Der Inhalt der Amazonseite wird meiner URL (Seite) zugeordnet.
Das zeigt mir jedenfalls der Cache von Google
(https://209.85.129.104/search?q=cache: ............)

RW

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 05.01.2008, 16:06

Warum machst du aus

Code: Alles auswählen

Disallow&#58; /re.php?

nicht

Code: Alles auswählen

Disallow&#58; /re/

?

Denn wenn /re/ wirklich ein Verzeichnis ist, sperrst du mit deinem Code ja nur die Datei re.php.

Beitrag von RW » 06.01.2008, 11:47

HI,
nXplorer

Danke für Deine Antwort!

https://www.google.com/support/webmaste ... topic=8846

Demnach sollte die erste Regel meiner txt auch für Google bestand haben

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /re/

die zweite Regel sollte eine Sicherheit darstellen das eben kein Weiterleitung von Google verfolgt wird.

Die ganze Sache war auch über Jahre hinweg funktionell.

Ich finde es nur erstaunlich das Google sich neuerdings nicht mehr an den Standard ( https://www.robotstxt.org ) hält.

Stichwort: - Firmeninterne Daten -

per robots schützen ist nicht mehr.

RW

Beitrag von RW » 06.01.2008, 12:12

HI

Und hier noch ein Link zun Thema:

Spion Google