Sitemap oder Spam?!
Verfasst: 08.05.2005, 12:46
Ein Blick in die robots.txt von pcwelt.de und man findet den Eintrag
Ruft man diese Datei auf, gehts ab, mehrere tausend Links. Das verlinken der Seite spar ich mir, das ding ist mehrere MB groß
Gleiches ist auch auf der gamestar.de zu sehen.
Anscheinend reagieren die Suchmaschinen nicht negativ auf diese Vorgehensweise. Liegt es daran das es Konform ist oder diese Seiten Autoritäten sind?
zu sehen hier
Code: Alles auswählen
user-agent: *
Allow: /tools/crawler.htmlGleiches ist auch auf der gamestar.de zu sehen.
Anscheinend reagieren die Suchmaschinen nicht negativ auf diese Vorgehensweise. Liegt es daran das es Konform ist oder diese Seiten Autoritäten sind?
zu sehen hier
Code: Alles auswählen
gamestar.de/tools/crawler.html
pcwelt.de/tools/crawler.html
