Google will mein Forum nicht indexieren. Robots.txt falsch?

Beitrag von **komplecity** » 04.12.2009, 13:43

Hallo Leute!

Irgend wie will google mein Forum, welches in einem Unterverzeichnis läuft nicht indexieren!

Da frage ich mich, vielleicht habe ich was im Robots Text falsch eingestellt.

Ich wollte folgendes verhindern, dass einige Seiten von der Indexierung ausgeschlossen werden. Habe ich da das komplette Unterverzeichnis gesperrt?

Das Forum befindet sich um Unterverzeichnis /community/

hier ist der Robots.txt:

------------------------------------------------------
Disallow: /community/*?
Disallow: /community/world-archaeology.html
Disallow: /community/multilanguage.html
Disallow: /community/news.html
Disallow: /community/kontakt-impressum-support.html
Disallow: /community/support-zur-archäologie-community.html
--------------------------------------------------------------------------------

Oder ist hier alles richtig und ich sollte einfach noch einige Tage warten. Ich warte aber schon sein einem Monat!

Das ist die Hauptdomain
https://www.mindspectra.de/

Und das ist hier das Unterverzeichnis:
https://www.mindspectra.de/community/

Danke ....

.

von **Anzeige von ABAKUS** »

Beitrag von **tim1986** » 04.12.2009, 14:02

Im Prinzip sollte das kein Thema sein.

Ich habe die Erfahrung gemacht, dass meine Seiten schneller indexiert werden, wenn ich mich bei GoogleWebmastertools mit den Seiten anmelde und die Sitemaps dort einreiche. Das könntest Du auch probieren.

Viele Grüße
Tim

Beitrag von **komplecity** » 04.12.2009, 14:05

also habe ich jetzt meinen Unterverzeichnis nicht komplett gesperrt?
Es ist doch alles richtig!
Ich meine ich kenne mich mit dem Robots.txt gut aus, aber langsam zweifle ich meinen Kenntnissen!

von **Anzeige von ABAKUS** »

Beitrag von **Sinterklaas** » 04.12.2009, 14:31

Disallow: /community/*?

Nimm das mal ganz schnell raus.

Beitrag von **komplecity** » 04.12.2009, 14:34

Sinterklaas hat geschrieben:Disallow: /community/*?

Nimm das mal ganz schnell raus.

wie so das denn? Hiermit sperre ich Google für die seiten mit dem Fragezeichen! Das funktioniert ohne Problem und wird sogar von Google empfohlen.

in diesem Forum funktioniert es 1A

https://www.tonstudio-forum.de/

Alle URLs mit "?" werden ignoriert und die restlichen aufgenommen! Vielleicht mal bei Google in Robots.txt Bedienungen reinschauen.

---------------------------------------------------------
# Blockieren des Zugriffs auf alle URLs, die ein Fragezeichen (?) enthalten, d. h. das Crawlen aller URLs sperren, die mit dem Namen Ihrer Domain beginnen, gefolgt von einer beliebigen Zeichenfolge, dann einem Fragezeichen und dann wieder einer Zeichenfolge:

User-agent: Googlebot
Disallow: /*?
-------------------------------------------------------------------------------

Quelle: https://www.google.com/support/webmaste ... wer=156449

Beitrag von **Sinterklaas** » 04.12.2009, 14:44

Du hast Recht, komplecity. Ich hatte das Fragezeichen übersehen.

Die Anweisung Disallow:/ *? blockiert alle URLs, die ein Fragezeichen enthalten. Genauer gesagt, sie blockiert alle URLs, die mit dem Namen Ihrer Domain beginnen, gefolgt von einer beliebigen Zeichenfolge, dann einem Fragezeichen und dann wieder einer Zeichenfolge.

Beitrag von **SchnaeppchenSUMA** » 04.12.2009, 16:22

fast jede URL deines Forums enthält ein Fragezeichen. Zum Beispiel:

https://www.mindspectra.de/community/ko ... 945c0ebc3d

könnte sein das da der Crawlingfluss unterbrochen wird.

Beitrag von **komplecity** » 04.12.2009, 18:22

Ja und nein!

https://www.mindspectra.de/community/ko ... 945c0ebc3d

umgeschrieben auf:
https://www.mindspectra.de/community/ko ... hysik.html

https://www.tonstudio-forum.de/ ist identisch mit dem https://www.mindspectra.de/community/

Der einzige Unterschied ist die Verzeichnistiefe. Urls Mit Fragezeichen werden umgeschrieben per SEO Plug In. Wie gesagt die oben aufgeführten Forums sind 1:1 Indentisch und werden von mir betreut. Robots Texte sind auch fast identisch was die "?" angeht.

Beitrag von **Mork vom Ork** » 04.12.2009, 18:41

komplecity hat geschrieben:https://www.mindspectra.de/community/ko ... 945c0ebc3d

umgeschrieben auf:
http://www.mindspectra.de/community/kozyrevs-astrophysik.html

Umgeschrieben wird da in dieser Form gar nichts. Wenn man deine Seiten per Browser aufruft, erscheinen fast nur URLs mit Parametern, also solche, die du per robots.txt generell aussperrst. Du scheinst zwar eine Googlebot-Ausnahme eingebaut zu haben, die Parameter dann und wann unterdrückt, aber möglicherweise funktioniert die nicht zuverlässig - das wäre jedenfalls die naheliegendste Erklärung. Werf' den Unsinn mit dem s=af4a01a0f8a85564063a61e945c0ebc3d raus und warte ab.

Beitrag von **komplecity** » 04.12.2009, 20:32

Sorry ich weis nicht wie du nur auf die URLS kommst s=af4a01a0f8a85564063a61e945c0ebc3d .

Wenn ich den Links in meinem Forum folge sind sie ausschließlich statisch.

Und meine Startseite des Forums enthält sowohl dynamische als auch statische Links. Willst du mir erzählen dass ich die dynamischen nicht sperren darf ??? Google kann doch den Normalen Links Folgen oder hat er es plötzlich verlernt?

Klick doch mal auf diesen LINK https://www.mindspectra.de/community/

landest du dann auf eine Seite mit einer dynamischen URL? Natürlich nicht.
klicke dann bitte auf irgend ein Forum ..... was passiert dann?

Natürlich werden hier Seiten/Links umgeschrieben!Das Problem ist nur die dynamischen bleiben auch erhalten. Das liegt am System. Und dafür ist doch Robots da!

wie ich schon oben erwähnt hatte, im anderen Forum klappt es ohne Probleme https://www.tonstudio-forum.de/ . Der einzige Unterschied ist das Unterverzeichnis und sonst nichts.

Beitrag von **Sinterklaas** » 04.12.2009, 21:00

komplecity hat geschrieben:.. Der einzige Unterschied ist das Unterverzeichnis und sonst nichts.

Wenn Du das schon selbst als Problem geortet hast, ändere es einfach. Erstell eine Subdomain statt des Unterverzeichnisses oder buche eine eigene Domain für das Forum.

Google crawlt maximal drei Ebenen - wenn überhaupt. 1: Hauptdomain - 2: Hauptverzeichnisse unterhalb der Startseite = Forenindex - und der ist drin. 3: wenn Du Pech hast nicht mehr.

Beitrag von **komplecity** » 04.12.2009, 21:06

Google crawlt maximal drei Ebenen - wenn überhaupt. 1: Hauptdomain - 2: Hauptverzeichnisse unterhalb der Startseite = Forenindex - und der ist drin. 3: wenn Du Pech hast nicht mehr.

Leuuuuuuute was ist das denn für ein Unsinn? Eben Google geht immer tiefer als nur 3 Verzeichnise wie andere Suchmaschinen. Ausserdem habe ich in diesem Fall auch nicht mehr als drei Verzeichnisse sondern nur 2, achte einfach auf die URL.

Beitrag von **Sinterklaas** » 04.12.2009, 21:14

Jo klar - alles Blödsinn. Aber Deine Site wird nicht gecrawlt, lediglich der Index des Forums ist drin. Guck Dir mal die anderen Hauptseiten Deiner Präsenz auf derselben Ebene an - da ist auch der Balken komplett grau.

Heisst im Klartext -zu wenig Linkpower, auf Deinen Hauptseiten kommt schon nichts mehr an - gar nichts.

Deine Startseite hat einen PR von 1. Denkst Du, Google macht extra für Dich eine Ausnahme?

Beitrag von **komplecity** » 04.12.2009, 21:19

Quatsch mich hier nicht mit deinen Pagerang Sachen voll, es geht hier nicht darum ob ich Backlinks habe oder nicht!

Von welcher Ausnahme redest du?

Beitrag von **Sinterklaas** » 04.12.2009, 21:23

Dich hier wie die Sau aufzuführen wird Dir nicht dabei helfen, Deine Seiten in den Index zu bringen. Das lernst Du aber noch. Es hilft durchaus, die Beiträge zu lesen.