robots.txt bei mobiler Webseite

Beitrag von **scream479** » 19.02.2009, 19:50

Hallo erstmal,

Ich habe zur Hauptdomain vor kurzem eine mobile XHTML Version unter einer .mobi Domain gestartet, bei der sich nun leider Probleme bei der robots.txt Datei ergeben haben.

In jenem Verzeichnis auf welche die mobi Domain zeigt liegt folgende robots.txt Datei.

Code: Alles auswählen

User-agent&#58; Googlebot
Disallow&#58; /

User-agent&#58; Googlebot-Mobile
Disallow&#58;

Im root Verzeichnis der generellen Hauptdomain:

Code: Alles auswählen

User-agent&#58; Googlebot-Mobile
Disallow&#58; /

Sprich:
Auf der normalen Webdomain wird der mobile Bot sinnvollerweise ausgesperrt.
Auf der mobilen Domain wird der mobile Bot zugelassen, jedoch der normale Bot ausgesperrt.

Über das Google Webmastertool wurde mir die korrekte Funktion über die robots Analysfunktion bestätigt.

Nun zum Problem:
Vor einigen Tagen habe ich dann die mobi Startseite und einige Unterseiten im normalen Google Index gefunden, was ja aufgrund der robots Datei ja eigentlich nicht sein sollte.

Wenn jemand einen Tipp für mich hat, würde ich mich sehr freuen.

Danke und lg,
Max

von **Anzeige von ABAKUS** »

Beitrag von **Airport1** » 09.06.2009, 11:32

thread ist zwar aelter aber eben bei mir wieder aktuell geworden.

am besten ist es m.E. zwei robots.txt zu warten, eine bei der mobilen variante der seite und eine bei der nicht mobilen. beide varianten sollten dazu unter verschiedenen z.b. sub-domains liegen.

--

mobile robots.txt:

User-agent: GoogleBot
Disallow: /

User-agent: Googlebot-Mobile
Allow: /

--

non-mobile robots.txt:

User-agent: Googlebot-Mobile
Disallow: /

User-agent: Googlebot
Allow: /

Beitrag von **dremer** » 03.07.2009, 12:31

Hallo,

da ich mich zur Zeit auch mit der Entwicklung einer mobilen Internetseite beschäftige eine sehr interesante Frage.
Klinkt für mich ebenfalls logisch, das man den mobilen Bot von der stat. Seite fernhält sowie den stat.Bot von der normalen Seite.
Nun bin ich aber bei meiner Suche im Netz nach Artikeln über mSEO über folgenden Kommentar gestolpert.
Ich füge einfach mal die URL ein und hoffe das ist ok:

https://www.brysonmeunier.com/less-is-n ... -to-avoid/

Der 1. Punkt betrifft genau die hier diskutierte Thematik.

Was haltet ihr davon?
Bin gespannt auf eure Antworten und hoffe wie in diesem Forum gewohnt, auf baldige Antworten.

Beitrag von **js69** » 29.09.2009, 14:44

Also ich habe auch seit ein paar Tagen eine mobile Seite.
Ich habe diese aber auf einer Subdomain untergebracht und sperre keinen Bot aus.
Echten DC gibt es auch nicht, da alle Texte af der mobilen Seite deutlich gekürzt sind.

Außerdem sollten die Bots doch auch an der Serverantwort erkennen (so wie Google es auch vorgibt) dass es sich um eine mobile Seite handelt. Ich hoffe mal, dass das so passt.