Robots in meta tags und die robots.txt datei?

[Djulo]

Hallo

Ich beschäftige mich erst seit kurzem mit seo und habe "ne" frage.

1)was passiert eigentlich wenn ich einen robot meta tag z.b. index,follow habe, aber keine robots.txt datei.?
2)und was wenn ich in der robots.txt datei den spidern alles erlaube(ist das schlimm), da ich kaum weiß welche ich sperren soll und welche nicht?? mir fehlt da der durchblick....
3)und wo kann ich sehen wann der spider meine seite besucht hat?

vielen dank
gruß

[Hasso]

1)was passiert eigentlich wenn ich einen robot meta tag z.b. index,follow habe, aber keine robots.txt datei.?

Die Datei „robots.txt“ steht in keiner direkten Verbindung mit den Meta-Tags Anweisungen, daher hat das Nichtvorhandensein von „robots.txt“ keinen Einfluss auf die Meta-Tags.

2)und was wenn ich in der robots.txt datei den spidern alles erlaube(ist das schlimm), da ich kaum weiß welche ich sperren soll und welche nicht?? mir fehlt da der durchblick....

Den seriösen Robots/Spider welche sich an die Anweisungen in der „robots.txt“ Datei halten, (Google, Yahoo oder MSN) willst Du ja sicherlich den Zugriff auf Deine Seite zulassen, den unseriösen Spam/Contentklau-Robots/Spider wirst Du sowieso mit der Sperranweisung in der „robots.txt“ nicht davon abhalten können, Deine Seite trotzdem zu spidern, da solche Robots sich öfters nicht an die Anweisungen in der „robots.txt“ - Datei halten. (Dafür gibt es andere Gegenmittel wie z.B. .htaccess Datei.) Ansonsten gibt es hier im Forum Listen von "bösen" Bots.

3)und wo kann ich sehen wann der spider meine seite besucht hat?

Dazu reicht ein Blick in Deine Zugriffsstatistiken. Bzw. Roh-Logfiles welche sich je nach System Deines Hosters bspw. in "/log/access_log" befinden.

Gruß
Hasso

[Djulo]

Vielen Dank für die hilfreichen Antworten Hasso. Das wird mir sicherlich weiterhelfen.

gruß