ABAKUS

Verfasst: **11.05.2005, 08:32**

hallo zusammen,

google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
die robots.txt und index.html werden mehrmals täglich durch verschiedene googlebots angefragt, aber keiner geht auf die erlaubten dateien und pfade tiefer.
seiten wurde vor 3 wochen kpl. geändert, msn und andere spideren in die tiefe.
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

danke für eure info

andre

Verfasst: **11.05.2005, 09:08**

redcan hat geschrieben:google spidert nun schon zum 2. mal dateien die in der robots.txt mit

User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
[...]
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.

Sind die gesperrten Dateien nur mit Dateinamen in den Serps zu finden oder wird auch ein Titel und ein Snippet angezeigt?

Werden die gesperrten Dateien laut Logfiles vom Googlebot geladen?

cu, Robo

Verfasst: **11.05.2005, 09:09**

User-agent: *
Disallow: login.php

besser

User-agent: *
Disallow: /login.php

Verfasst: **11.05.2005, 09:10**

Mach es am besten so, wie in dem Standard beschrieben: https://www.robotstxt.org/wc/norobots.html

Disallow: /login.php

Verfasst: **11.05.2005, 09:22**

@ robo
kpl. anzeige,
ja mit get geladen
von ca. 20 Dateien nur 4 gespidert

@SloMo und ThomasB
Danke, habs gerade geändert

Verfasst: **11.05.2005, 22:46**

wahrscheinlich handelt es sich um einen fake-useragent.

ABAKUS

google spidert nicht erlaubte dateien

google spidert nicht erlaubte dateien

Re: google spidert nicht erlaubte dateien

google spidert nicht erlaubte dateien

google spidert nicht erlaubte dateien

google spidert nicht erlaubte dateien

google spidert nicht erlaubte dateien