Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Sitemap oder Spam?!

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
fotzi
PostRank 2
PostRank 2
Beiträge: 63
Registriert: 08.12.2004, 02:30

Beitrag von fotzi » 08.05.2005, 12:46

Ein Blick in die robots.txt von pcwelt.de und man findet den Eintrag

Code: Alles auswählen

user-agent: *
Allow: /tools/crawler.html
Ruft man diese Datei auf, gehts ab, mehrere tausend Links. Das verlinken der Seite spar ich mir, das ding ist mehrere MB groß

Gleiches ist auch auf der gamestar.de zu sehen.

Anscheinend reagieren die Suchmaschinen nicht negativ auf diese Vorgehensweise. Liegt es daran das es Konform ist oder diese Seiten Autoritäten sind?

zu sehen hier

Code: Alles auswählen

gamestar.de/tools/crawler.html
pcwelt.de/tools/crawler.html
Zuletzt geändert von fotzi am 09.05.2005, 20:52, insgesamt 1-mal geändert.