https wird gecrawlt, trotz robots
Verfasst: 29.05.2011, 13:55
Hallo,
bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:
# robots.txt 4 SSL
User-agent: *
Disallow: /
Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.com/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?
bei der site-Abfrage habe ich mit Erschrecken entdeckt, dass unsere Shop-Startseite auch als https im Index ist. Im google Webmaster Forum hatten wir einen Betrag gefunden, in dem zu einer /robots-ssl.txt geraten wurde, was wir auch gemacht haben. Inhalt dieser:
# robots.txt 4 SSL
User-agent: *
Disallow: /
Aber das bringt anscheinend nichts. Was gibt es sonst noch für Lösungen? Grundüberlegung ist natürlich eine robots.txt mit obigem Inhalt unter https://www.example.com/robots.txt abzulegen, aber wie soll das bei einem SSL Zertifikat realisiert werden?