Seite 1 von 1

spyder scannt absoluten schrott

Verfasst: 25.05.2006, 15:01
von Cleanseat
Hallo ich habe meine Internetseite mit phpSitemapNG getestet, dabei fällt mir auf das vermutlich auch google sich in meinem Skript verfängt.
Weil andauernd und zwar 40 mal die Kundenanmeldeseite gescannt wird allerdings kann Google dort keine Daten finden, diese liegen ja in der Datenbank.
Wie kann ich am einfachsten vermeiden das diese unnötigen Seiten ausgelesen werden?
Meine url ist (www.anlami.de) und hängen bleibt er jedes Mal an der new_user.php
(https://www.anlami.de/new_user.php?acti ... 5253FCMSID)

Hat jemand einen tip

Verfasst:
von

Verfasst: 25.05.2006, 15:21
von ole1210
Du hast do bestimmt schon mal was von der robots.txt gehört, oder? Sperr die doch einfach!

Verfasst: 25.05.2006, 18:47
von sumapark
oder schreibst in die Metas "noindex"