ABAKUS

also ich habe ja das Problem das ich kein Htacess krieg (Providerseitig
nun hat meine Domain ohne www keinen DnsEintrag mehr und ich hofft das Problem Doppelter content sei vorbei

dann habe ich in der Robot stehen

User-agent: Mediapartners-Google*
Allow: /
Disallow:

User-agent: *
Allow: /
Disallow: /cgi-bin

aber immernoch crawlt er duch die cgi_bin
und immer noch kriegt er innerhalb von sek. 2 verschiedene Ergebnisse...

crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:14 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 0
crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:17 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 23557

mal mit inhalt mal ohne

hat jemand ne idee was das denn noch sein kann....

Vieleicht so
User-agent: *
Disallow: /cgi-bin/
Katja

Solange die Ergebnisse 0 + korrekte Seitengröße sind, dürfte das harmlos sein. Google überprüft auch bei mir immer wieder Seiten zwischendurch und erhält einen 200 + 0 Byte, scheint also mit einem GET zu beginnen, dann jedoch keine weiteren Daten anzufordern.

Kritisch dürften verschiedene Mengen sein: 14 KB, zwei Sekunden später 26 KB.

Die Daten sind inzwischen mit Cache vom 24.05 drin, insofern scheint sich doch viel getan zu haben.

@Katja kann ein werd das mal ändern
@ oldinternet user

Kritisch dürften verschiedene Mengen sein: 14 KB, zwei Sekunden später 26 KB.

leider hab ich auch solche

stimmt einige meiner siten sind seit ein paar tagen wieder im index 8leider die Startseite nicht)
gebe ich bei google meine Seite ein ist das Ergenis sie sei verbrannt

wie gesagt ich verstehe hier garnix mehr

BTW: Allow gibt es nicht.
Und Allow / würde ohnehin nicht viel Sinn machen,
da du alles erlaubst was danach nicht gesperrt wird.
Und das ist ohnehin immer der Fall.

Laut Google gibt es dieses "allow"

https://www.google.de/intl/de/webmaster ... ml#nocrawl

Laut Standard nicht, oder wurde der erweitert?
Aber heißt ja auch Robots Exclusion.