kriegs nicht raus....

Beitrag von **Fakir** » 02.06.2005, 10:05

also ich habe ja das Problem das ich kein Htacess krieg (Providerseitig
nun hat meine Domain ohne www keinen DnsEintrag mehr und ich hofft das Problem Doppelter content sei vorbei

dann habe ich in der Robot stehen

User-agent: Mediapartners-Google*
Allow: /
Disallow:

User-agent: *
Allow: /
Disallow: /cgi-bin

aber immernoch crawlt er duch die cgi_bin
und immer noch kriegt er innerhalb von sek. 2 verschiedene Ergebnisse...

crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:14 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 0
crawl-66-249-66-34.googlebot.com - - [02/Jun/2005:02:35:17 +0200] "GET /cgi-bin/links/bewerten.cgi?ID=619 HTTP/1.1" 200 23557

mal mit inhalt mal ohne

hat jemand ne idee was das denn noch sein kann....

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Racker** » 02.06.2005, 10:13

Vieleicht so
User-agent: *
Disallow: /cgi-bin/
Katja

Beitrag von **oldInternetUser** » 02.06.2005, 10:20

Solange die Ergebnisse 0 + korrekte Seitengröße sind, dürfte das harmlos sein. Google überprüft auch bei mir immer wieder Seiten zwischendurch und erhält einen 200 + 0 Byte, scheint also mit einem GET zu beginnen, dann jedoch keine weiteren Daten anzufordern.

Kritisch dürften verschiedene Mengen sein: 14 KB, zwei Sekunden später 26 KB.

Die Daten sind inzwischen mit Cache vom 24.05 drin, insofern scheint sich doch viel getan zu haben.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Fakir** » 02.06.2005, 10:34

@Katja kann ein werd das mal ändern
@ oldinternet user

Kritisch dürften verschiedene Mengen sein: 14 KB, zwei Sekunden später 26 KB.

leider hab ich auch solche

stimmt einige meiner siten sind seit ein paar tagen wieder im index 8leider die Startseite nicht)
gebe ich bei google meine Seite ein ist das Ergenis sie sei verbrannt

wie gesagt ich verstehe hier garnix mehr

Beitrag von **pi-de** » 02.06.2005, 15:40

BTW: Allow gibt es nicht.
Und Allow / würde ohnehin nicht viel Sinn machen,
da du alles erlaubst was danach nicht gesperrt wird.
Und das ist ohnehin immer der Fall.

Beitrag von **Moddy** » 02.06.2005, 16:58

Laut Google gibt es dieses "allow"

https://www.google.de/intl/de/webmaster ... ml#nocrawl

Beitrag von **pi-de** » 03.06.2005, 07:25

Laut Standard nicht, oder wurde der erweitert?
Aber heißt ja auch Robots Exclusion.