kriegs nicht raus....

also ich habe ja das Problem das ich kein Htacess krieg (Providerseitig
nun hat meine Domain ohne www keinen DnsEintrag mehr und ich hofft das Problem Doppelter content sei vorbei

dann habe ich in der Robot stehen

User-agent: Mediapartners-Google*
Allow: /
Disallow:

User-agent: *
Allow: /
Disallow: /cgi-bin

aber immernoch crawlt er duch die cgi_bin
und immer noch kriegt er innerhalb von sek. 2 verschiedene Ergebnisse...

crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:14 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 0
crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:17 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 23557

mal mit inhalt mal ohne

hat jemand ne idee was das denn noch sein kann....

Vieleicht so
User-agent: *
Disallow: /cgi-bin/
Katja

Solange die Ergebnisse 0 + korrekte Seitengröße sind, dürfte das harmlos sein. Google überprüft auch bei mir immer wieder Seiten zwischendurch und erhält einen 200 + 0 Byte, scheint also mit einem GET zu beginnen, dann jedoch keine weiteren Daten anzufordern.

Kritisch dürften verschiedene Mengen sein: 14 KB, zwei Sekunden später 26 KB.

Die Daten sind inzwischen mit Cache vom 24.05 drin, insofern scheint sich doch viel getan zu haben.