hallo forum,
bis dato habe ich noch keine robots.txt auf dem server. nun habe ich aber gemerkt das der googlebot sehr viele "unwichtige" seiten indiziert/crawlt.
wenn ich nun in der robots.txt die unwichtigen seiten sperre, müsste doch der goglebot schneller/öfter zu den wichtigen seiten kommen, oder?
vielen dank für eure tipps!
Archiv
