Seite 1 von 1

https wird gecrawlt, trotz robots

Verfasst: 29.05.2011, 13:55
von Manu v6
Hallo,

bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:

# robots.txt 4 SSL

User-agent: *

Disallow: /

Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.com/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?

Verfasst:
von

Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Verfasst: 29.05.2011, 13:57
von net(t)worker
ich würde nen canonical auf die http:// url in den head setzen... dann würden die https zwar noch gecrawlt werden, aber nicht mehr in den Index landen... und es würden zudem keine freiwillig gesetzten externen Links zu den https:// Seiten verloren gehen.....

Re: https wird gecrawlt, trotz robots

Verfasst: 29.05.2011, 16:17
von Hirnhamster
Manu v6 hat geschrieben:Hallo,

bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:

# robots.txt 4 SSL

User-agent: *

Disallow: /

Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.de/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?
Davon hab ich noch nie was gehört.. hast nen Link dazu?

Ansonsten stimm ich nettworker zu, Canonical ist the way to go.

Oh, und benutz mal example.com für Beispiel bei Domains.. Auf xxx.de möchtest du glaub nicht linken ;)

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 29.05.2011, 18:10
von Manu v6
Link finde ich aktuell nicht (ist auch schon ne Weile her). War ja auch keine offizielle Google-Empfehlung, sondern ein Vorschlag eines Foren-Users. Dann machen wir das mit dem canonical-tag.

Also auf der http Startseite einfach in den head-bereich

<link rel="canonical" href="https://www.beispiel.de/>

oder?

Verfasst: 29.05.2011, 21:04
von WoY
siehe networker

Verfasst: 29.05.2011, 21:12
von net(t)worker
ne... auf den jeweiligen https Seiten den canonical auf die jeweilige http setzen....

Verfasst: 30.05.2011, 09:23
von Manu v6
So, das kommt davon wenn man sich in Sachen einmischt, die nich zu seinem Aufgabengebiet gehören, denn das mit der robots-sll war nur die halbe Wahrheit, dazu gehört auch eine rewrite rule in der .htaccess:

RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteCond %{HTTP_HOST} !^www\.beispiel\.de$ [NC]
RewriteRule ^(.*)$ https://www.beispiel.de/$1 [R=301]

RewriteCond %{SERVER_PORT} ^443
RewriteCond %{REQUEST_URI} ^robots\.txt$
RewriteRule ^robots-ssl.txt [L]

Funktioniert hat es trotzdem nicht (zumindest nicht für die Startseite)

Nochmal zum cononical tag: <link rel="canonical" href="https://www.beispiel.de/> mit / oder ohne? Nehme an mit /.

Verfasst: 30.05.2011, 11:45
von net(t)worker
du musst den canonical jeweils passend zur aufgerufenen URL einrichten, also wenn ein Aufruf über https://www.example.com/seite1.php kommt musst du den canonical auf https://www.example.com/seite1.php setzen, nur so machts wirklich Sinn... vorraussetzung ist natürlich das die Seite ist auch per http erreichbar ist....

Verfasst: 30.05.2011, 13:13
von Manu v6
Du hast natürlich recht. Aber die https Seite exisitiert ja eigentlich gar nicht, ich kann sie nicht speziell bearbeiten. Aber das passt ja schon, die http und die https Startseite haben ja den gleichen Inhalt und so verweist das canonical tag auch bei der https-Seite auf die http-Seite.

Verfasst: 30.05.2011, 13:16
von net(t)worker
klar, natürlich macht es auch nichts wenn die http seiten auch den canonical haben, solange dieser dann wirklich auf die url dieser seite zeigt....

hat das eigentlich einen Grund warum du hier immer nur von der Startseite schreibst? Das Problem sollte doch auf allen Unterseiten bestehen, oder?

Verfasst: 30.05.2011, 13:21
von Manu v6
Es ist wirklich nur die Startseite als https Version im Index. Evtl hat die rewrite-geschichte doch was gebracht und nur nicht für die Startseite?? Können es uns auch nicht so recht erklären.

Verfasst: 02.06.2011, 14:18
von Manu v6
Das ging schnell, bei der Site-Abfrage war ja die https-Startseite als 1. Ergebnis drin, jetzt ist es die http-Version. Dachte nicht das es so schnell geht.