google spidert nicht erlaubte dateien

Beitrag von **redcan** » 11.05.2005, 08:32

hallo zusammen,

google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
die robots.txt und index.html werden mehrmals täglich durch verschiedene googlebots angefragt, aber keiner geht auf die erlaubten dateien und pfade tiefer.
seiten wurde vor 3 wochen kpl. geändert, msn und andere spideren in die tiefe.
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

danke für eure info

andre

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **robo** » 11.05.2005, 09:08

redcan hat geschrieben:google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
[...]
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

Sind die gesperrten Dateien nur mit Dateinamen in den Serps zu finden oder wird auch ein Titel und ein Snippet angezeigt?

Werden die gesperrten Dateien laut Logfiles vom Googlebot geladen?

cu, Robo

Beitrag von **ThomasB** » 11.05.2005, 09:09

User-agent: *
Disallow: login.php

besser

User-agent: *
Disallow: /login.php

Beitrag von **SloMo** » 11.05.2005, 09:10

Mach es am besten so, wie in dem Standard beschrieben: https://www.robotstxt.org/wc/norobots.html

Disallow: /login.php

Beitrag von **redcan** » 11.05.2005, 09:22

@ robo
kpl. anzeige,
ja mit get geladen
von ca. 20 Dateien nur 4 gespidert

@SloMo und ThomasB
Danke, habs gerade geändert

Beitrag von **fredde** » 11.05.2005, 22:46

wahrscheinlich handelt es sich um einen fake-useragent.