ABAKUS

Das ist normal, weil das Impressum neben der Startseite die für Google wichtigste Seite ist. Diese beiden werden (fast) immer zu allererst gespidert.

Na da hab ich wohl was nicht mitbekommen ...

und wenn du die daten deines impressums als bild ablegt, kann kein bot den sch*** auslesen

User-agent: *
Disallow: /impressum.php

half bislang immer, der Bot hat sich dran gehalten.
Sicherheitshalber halt per .htaccess absichern.

User-agent: *
Disallow: /impressum.php

Ja ist schon klar, meine Images kann der eh nicht lesen, mich wundert es halt nur warum der das Impressum als erstes liest/lesen will

bull hat geschrieben:User-agent: *
Disallow: /impressum.php

half bislang immer, der Bot hat sich dran gehalten.
Sicherheitshalber halt per .htaccess absichern.

Wobei der Googlebot sich nicht um die robots.txt zu kümmern scheint. Ich hatte auf einer Seite alle Bots per robots.txt ausgesperrt. Dann habe ich in den Logs gesehen dass der Googlebot ankam, die robots gelesen hat und gleich danach weiter gewandert ist zu irgendwelchen Unterseiten. Das hat mich erstmal auch nicht so sehr gestört, solange die Seiten nicht indiziert wurden. Irgendwann passierte dann aber auch genau das.

Seitdem mache ich das auch nur noch per htaccess. Der Googlebot wird jetzt immer zu google.de redirected

Was habt ihr denn dagegen, dass der Bot das Impressum ausliest?
Das ist doch völlig in Ordnung, schließlich ist das die wichtigste Datei auf der ganzen Domain, rein rechtlich gesehn. Google listet das Impressum ja auch zum Suchergebnis.
Ein paar wohl platzierte Links im Impressum und schon hat man gar einen Vorteil draus.

Ich versteh die Aufregung jetzt ehrlich gesagt nicht so ganz

<< Na da hab ich wohl was nicht mitbekommen ...

Das macht Google schon ewig, Mario.

bsnoop hat geschrieben:
Seitdem mache ich das auch nur noch per htaccess. Der Googlebot wird jetzt immer zu google.de redirected

Clever... und irgendwann kommt der Bot dann nicht mehr zu dir

@AnjaK: Ich glaube, die Angst ist, dass der Bot über das Impressum rauskriegen könnte, welche Domains "zusammenghören".

AnjaK hat geschrieben:Clever... und irgendwann kommt der Bot dann nicht mehr zu dir

Das soll er auf der entsprechenden Webseite ja auch gar nicht! Auf einer Seite wo ich den Bot gerne sehe mache ich das natürlich nicht

AnjaK hat geschrieben:Was habt ihr denn dagegen, dass der Bot das Impressum ausliest?

Manch einer mag es zum Beispiel nicht, wenn man nach seinem Namen bei Google sucht, dass dann bestimmte Seiten, bzw. überhaupt Seiten, da auftauchen.

@bsnoop: dann kann es sich dabei ja nur um illegale oder sozial nicht erwünschte Inhalte handeln...

Einen guten Spammer erkennt man (u.A.) immer daran, dass die Daten im Impressum in Form eines Bildes vorhanden sind

holch hat geschrieben:@bsnoop: dann kann es sich dabei ja nur um illegale oder sozial nicht erwünschte Inhalte handeln...

lol, nein nicht wirklich. Dabei handelt es sich einfach um eine Arbeitsdomain, unter anderem mit aufgesetztem Adserver, Redirect Links etc.