google spidert nicht erlaubte dateien

[redcan]

hallo zusammen,

google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
die robots.txt und index.html werden mehrmals täglich durch verschiedene googlebots angefragt, aber keiner geht auf die erlaubten dateien und pfade tiefer.
seiten wurde vor 3 wochen kpl. geändert, msn und andere spideren in die tiefe.
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

danke für eure info

andre

[robo]

google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
[...]
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

Sind die gesperrten Dateien nur mit Dateinamen in den Serps zu finden oder wird auch ein Titel und ein Snippet angezeigt?

Werden die gesperrten Dateien laut Logfiles vom Googlebot geladen?

cu, Robo

[ThomasB]

User-agent: *
Disallow: login.php

besser

User-agent: *
Disallow: /login.php

[SloMo]

Mach es am besten so, wie in dem Standard beschrieben: https://www.robotstxt.org/wc/norobots.html

Disallow: /login.php

[redcan]

@ robo
kpl. anzeige,
ja mit get geladen
von ca. 20 Dateien nur 4 gespidert


@SloMo und ThomasB
Danke, habs gerade geändert

[fredde]

wahrscheinlich handelt es sich um einen fake-useragent.