Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Naja vielleicht auch Zufall, zu lesen ist da ja eh nix 
Na da hab ich wohl was nicht mitbekommen ...Das ist normal, weil das Impressum neben der Startseite die für Google wichtigste Seite ist. Diese beiden werden (fast) immer zu allererst gespidert.
Wobei der Googlebot sich nicht um die robots.txt zu kümmern scheint. Ich hatte auf einer Seite alle Bots per robots.txt ausgesperrt. Dann habe ich in den Logs gesehen dass der Googlebot ankam, die robots gelesen hat und gleich danach weiter gewandert ist zu irgendwelchen Unterseiten. Das hat mich erstmal auch nicht so sehr gestört, solange die Seiten nicht indiziert wurden. Irgendwann passierte dann aber auch genau das.bull hat geschrieben:User-agent: *
Disallow: /impressum.php
half bislang immer, der Bot hat sich dran gehalten.
Sicherheitshalber halt per .htaccess absichern.
Clever... und irgendwann kommt der Bot dann nicht mehr zu dirbsnoop hat geschrieben:
Seitdem mache ich das auch nur noch per htaccess. Der Googlebot wird jetzt immer zu google.de redirected
Das soll er auf der entsprechenden Webseite ja auch gar nicht!AnjaK hat geschrieben:Clever... und irgendwann kommt der Bot dann nicht mehr zu dir
Auf einer Seite wo ich den Bot gerne sehe mache ich das natürlich nicht Manch einer mag es zum Beispiel nicht, wenn man nach seinem Namen bei Google sucht, dass dann bestimmte Seiten, bzw. überhaupt Seiten, da auftauchen.AnjaK hat geschrieben:Was habt ihr denn dagegen, dass der Bot das Impressum ausliest?
lol, nein nicht wirklich. Dabei handelt es sich einfach um eine Arbeitsdomain, unter anderem mit aufgesetztem Adserver, Redirect Links etc.holch hat geschrieben:@bsnoop: dann kann es sich dabei ja nur um illegale oder sozial nicht erwünschte Inhalte handeln...
