Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
das heisst ja dann im Umkehrschluß: wenn der Bot auf meiner Seite überall hin darf, ist es völlig egal, ob ich eine robots.txt angelegt habe oder nicht...expy hat geschrieben:nein. die robots.txt ist für andere sachen zuständig. wo z.b. bot hindarf und wo nicht.
Richtig. Eine nicht vorhandene robots.txt produziert allerdings bei jedem Bot-Besuch einen Error 404. Nicht schlimm, aber auch nicht schön (falls Du mal Statistiken auswertest).herbert00 hat geschrieben:das heisst ja dann im Umkehrschluß: wenn der Bot auf meiner Seite überall hin darf, ist es völlig egal, ob ich eine robots.txt angelegt habe oder nicht...
stimmt das?