Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

archive.org per robots.txt blocken (bsp abakus)

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
wurli
PostRank 5
PostRank 5
Beiträge: 271
Registriert: 01.03.2007, 11:19
Wohnort: Austria

Beitrag von wurli » 30.09.2007, 11:57

hallo!
ich hoffe ich poste hier richtig!

https://web.archive.org/web/*/https://a ... rketing.de
wenn man abakus auf archive.org sucht wird einem gesagt, dass der betreiber die seite mit robots.txt geblockt hat! wie kann man archive.org ausblocken, und was hat es für einen sinn?

soll man den "lebenslauf" einer website nicht so offenlegen?
mir fällt kein nachteil ein, außer die seite wäre mal nicht hochwertig gewesen,... aber abakus??

lg wurli