Code: Alles auswählen
user-agent: *
Allow: /tools/crawler.html
Gleiches ist auch auf der gamestar.de zu sehen.
Anscheinend reagieren die Suchmaschinen nicht negativ auf diese Vorgehensweise. Liegt es daran das es Konform ist oder diese Seiten Autoritäten sind?
zu sehen hier
Code: Alles auswählen
gamestar.de/tools/crawler.html
pcwelt.de/tools/crawler.html