also ich habe ja das Problem das ich kein Htacess krieg (Providerseitig
nun hat meine Domain ohne www keinen DnsEintrag mehr und ich hofft das Problem Doppelter content sei vorbei
dann habe ich in der Robot stehen
User-agent: Mediapartners-Google*
Allow: /
Disallow:
User-agent: *
Allow: /
Disallow: /cgi-bin
aber immernoch crawlt er duch die cgi_bin
und immer noch kriegt er innerhalb von sek. 2 verschiedene Ergebnisse...
crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:14 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 0
crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:17 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 23557
mal mit inhalt mal ohne
hat jemand ne idee was das denn noch sein kann....
Archiv
