google ignoriert robots.txt

Beitrag von **Tiefenrausch** » 24.07.2007, 14:21

Erst das lesen:

robots.txt - Robots kontrollieren

Dann das lesen:

Robots.txt Deluxe – Die Erweiterungen, die Google unterstützt

Und erst dann an der eigenen robots.txt rumpfuschen.

Gruß

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Holger Grintz** » 24.07.2007, 15:01

ok, danke, habe ich mir durchgelesen.
Ich habe jetzt alle php-Dateien "disallowed", so müsste es doch funktionieren, oder?

User-agent: Googlebot
Disallow: /*.php$

Beitrag von **Tiefenrausch** » 24.07.2007, 15:14

Vom Prinzip her ist das korrekt.

Ich bin zwar kein PHP-Experte, habe ich nie gebraucht, aber sperrst du damit nicht auch die index.php auf der Startseite, also die gesamte Webseite für die robots aus???

Ich kenne deine Seite nicht, aber ich glaube, so ist das ganz falsch.

Ich würde denken, dass das die richtige Lösung ist:

User-agent: *
Disallow: /forum/calendar.php
Disallow: /forum/members/

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Holger Grintz** » 24.07.2007, 15:23

So hatte ich es ja am Anfang auch (siehe 2 Beiträge vorher).

Ich denek, es geht ohne php-Seiten, weil statische html-Seiten zu jeder php-Seite (ausser Suche/Registrierung etc.) generiert werden.
Also alles, was relevanten content hat, ist *.html

Ich schaue mal, was passiert, und lasse es erst einmal so

Vielen Dank nochmal für den Tipp mit dem $

Beitrag von **Tiefenrausch** » 24.07.2007, 15:34

Holger Grintz hat geschrieben:So hatte ich es ja am Anfang auch (siehe 2 Beiträge vorher).

Nee nee, bei Members hat der Schrägstrich gefehlt. Zitat: "Achten Sie darauf, bei Verzeichnispfaden einen abschließenden Schrägstrich / zu notieren."

Und das hier war auch falsch:

Disallow: /forum/calendar.php?do=displayweek&c=1&week=*

Zitat: "Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt." (Gilt nicht für Googlebot.)