zu dem thema hab ich auch was nettes gefunden!!!
# disallow all agents
# 8/31/2005 - Allow googlebot
#User-agent: Googlebot
#Disallow:
#
#User-agent: *
#Disallow: /
# 11/03/2005
### BEGIN FILE ###
#
# allow-all
#
#
# The use of robots or other automated means to access the eBay site
# without the express permission of eBay is strictly prohibited.
# Notwithstanding the foregoing, eBay may permit automated access to
# access certain eBay pages but soley for the limited purpose of
# including content in publicly available search engines. Any other
# use of robots or failure to obey the robots exclusion standards set
# forth at <
https://www.robotstxt.org/ wc/ exclusion.html> is strictly
# prohibited.
# v3
#
User-agent: *
Disallow: /help/confidence/
Disallow: /help/policies/
Disallow: /disney/
### END FILE ###
das ist die robots.txt von cgi.ebay.de (
https://cgi.ebay.de/robots.txt )
und das macht google daraus:
https://www.google.de/search?q=inurl:cg ... =&filter=0
11.000.000 indizierte seiten!!!
es kommt noch schlimmer. ich bin erst darauf aufmerksam geworden nachdem ich gestern nacht eine dieser seiten zu einem starken key unter den ersten 10 ergebnissen gefunden habe.
ich finde es alleine schon sehr dreist das google expliziet angesprochen werden möchte und das
User-agent: *
Disallow: /
nicht ausreicht um den googlebot zu stoppen...
greetz
ad_prof
p.s.: kann mir jemand sagen was das hier soll?
8/31/2005 - Allow googlebot
