https wird gecrawlt, trotz robots

Beitrag von **Manu v6** » 29.05.2011, 13:55

Hallo,

bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:

# robots.txt 4 SSL

User-agent: *

Disallow: /

Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.com/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 29.05.2011, 13:57

ich würde nen canonical auf die http:// url in den head setzen... dann würden die https zwar noch gecrawlt werden, aber nicht mehr in den Index landen... und es würden zudem keine freiwillig gesetzten externen Links zu den https:// Seiten verloren gehen.....

Beitrag von **Hirnhamster** » 29.05.2011, 16:17

Manu v6 hat geschrieben:Hallo,

bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:

# robots.txt 4 SSL

User-agent: *

Disallow: /

Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.de/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?

Davon hab ich noch nie was gehört.. hast nen Link dazu?

Ansonsten stimm ich nettworker zu, Canonical ist the way to go.

Oh, und benutz mal example.com für Beispiel bei Domains.. Auf xxx.de möchtest du glaub nicht linken

von **Anzeige von ABAKUS** »

Beitrag von **Manu v6** » 29.05.2011, 18:10

Link finde ich aktuell nicht (ist auch schon ne Weile her). War ja auch keine offizielle Google-Empfehlung, sondern ein Vorschlag eines Foren-Users. Dann machen wir das mit dem canonical-tag.

Also auf der http Startseite einfach in den head-bereich

<link rel="canonical" href="https://www.beispiel.de/>

oder?

Beitrag von **WoY** » 29.05.2011, 21:04

siehe networker

Beitrag von **Anonymous** » 29.05.2011, 21:12

ne... auf den jeweiligen https Seiten den canonical auf die jeweilige http setzen....

Beitrag von **Manu v6** » 30.05.2011, 09:23

So, das kommt davon wenn man sich in Sachen einmischt, die nich zu seinem Aufgabengebiet gehören, denn das mit der robots-sll war nur die halbe Wahrheit, dazu gehört auch eine rewrite rule in der .htaccess:

RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteCond %{HTTP_HOST} !^www\.beispiel\.de$ [NC]
RewriteRule ^(.*)$ https://www.beispiel.de/$1 [R=301]

RewriteCond %{SERVER_PORT} ^443
RewriteCond %{REQUEST_URI} ^robots\.txt$
RewriteRule ^robots-ssl.txt [L]

Funktioniert hat es trotzdem nicht (zumindest nicht für die Startseite)

Nochmal zum cononical tag: <link rel="canonical" href="https://www.beispiel.de/> mit / oder ohne? Nehme an mit /.

Beitrag von **Anonymous** » 30.05.2011, 11:45

du musst den canonical jeweils passend zur aufgerufenen URL einrichten, also wenn ein Aufruf über https://www.example.com/seite1.php kommt musst du den canonical auf https://www.example.com/seite1.php setzen, nur so machts wirklich Sinn... vorraussetzung ist natürlich das die Seite ist auch per http erreichbar ist....

Beitrag von **Manu v6** » 30.05.2011, 13:13

Du hast natürlich recht. Aber die https Seite exisitiert ja eigentlich gar nicht, ich kann sie nicht speziell bearbeiten. Aber das passt ja schon, die http und die https Startseite haben ja den gleichen Inhalt und so verweist das canonical tag auch bei der https-Seite auf die http-Seite.

Beitrag von **Anonymous** » 30.05.2011, 13:16

klar, natürlich macht es auch nichts wenn die http seiten auch den canonical haben, solange dieser dann wirklich auf die url dieser seite zeigt....

hat das eigentlich einen Grund warum du hier immer nur von der Startseite schreibst? Das Problem sollte doch auf allen Unterseiten bestehen, oder?

Beitrag von **Manu v6** » 30.05.2011, 13:21

Es ist wirklich nur die Startseite als https Version im Index. Evtl hat die rewrite-geschichte doch was gebracht und nur nicht für die Startseite?? Können es uns auch nicht so recht erklären.

Beitrag von **Manu v6** » 02.06.2011, 14:18

Das ging schnell, bei der Site-Abfrage war ja die https-Startseite als 1. Ergebnis drin, jetzt ist es die http-Version. Dachte nicht das es so schnell geht.