robots.txt sinnlos?

Beitrag von **poolio** » 30.11.2009, 18:26

Hallo,
meine Frage ist, warum Google meine robots.txt ignoriert.
Im Google Index finden sich eine Anzahl Webseiten, welche ich eigentlich per robots.txt ausgeschlossen hatte.
z.B.
advanced_search.php
create_account.php
usw.
Backlinks gibt es für diese Seiten keine.

Hier meine robots.txt:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; address_book_process.php 
Disallow&#58; account.php 
Disallow&#58; account_edit.php 
Disallow&#58; account_edit_process.php 
Disallow&#58; account_history.php 
Disallow&#58; account_history_info.php 
Disallow&#58; address_book.php 
Disallow&#58; checkout_process.php 
Disallow&#58; advanced_search.php 
Disallow&#58; advanced_search_result.php 
Disallow&#58; checkout_address.php 
Disallow&#58; checkout_confirmation.php 
Disallow&#58; checkout_payment.php 
Disallow&#58; checkout_success.php 
Disallow&#58; contact_us.php 
Disallow&#58; create_account.php
Disallow&#58; create_account_guest.php  
Disallow&#58; create_account_process.php 
Disallow&#58; create_account_success.php 
Disallow&#58; info_shopping_cart.php 
Disallow&#58; logoff.php
Disallow&#58; password_double_opt.php
Disallow&#58; popup_image.php 
Disallow&#58; popup_search_help.php 
Disallow&#58; privacy.php 
Disallow&#58; product_notifications.php 
Disallow&#58; product_reviews.php 
Disallow&#58; product_reviews_info.php  
Disallow&#58; shipping.php 
Disallow&#58; admin/
Disallow&#58; export/
Disallow&#58; download/ 
Disallow&#58; includes/ 
Disallow&#58; pub/ 
Disallow&#58; media/

Habe ich da etwas falsch gemacht?
Es wäre schön, wenn ihr mir helfen könntet.
Gibt es noch andere Möglichkeiten, eine Seite vom Index aus zu schließen?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **w3news** » 30.11.2009, 18:39

Bin mir nicht ganz sicher, aber könnte es daran liegen, dass ein / davor muss?
Also zum Beispiel:

Disallow: /advanced_search.php

Auf robotstxt.org sind auf jeden Fall die Beispiele so aufgebaut.

Beitrag von **poolio** » 30.11.2009, 18:44

Ja das stimmt

.
Sollte ich eine Änderung riskieren?
Gibt es noch andere Meinungen dazu?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **luzie** » 30.11.2009, 19:24

Was heisst "Änderung riskieren"? Deine robots.txt ist einfach falsch (wie schon bemerkt fehlt da der Slash vor den Einträgen), reparier' sie und fertig

Beitrag von **webpilot** » 30.11.2009, 19:53

Du kannst deine robots.txt auch in den Webmastertools testen.

Beitrag von **poolio** » 30.11.2009, 20:48

Danke für die Hilfe

Beitrag von **euroboy** » 02.12.2009, 17:57

Ich meine irgendwo gehört zu haben, dass der Googlebot persönlich angesprochen werden will, also mit

User-agent: Googlebot

Jedenfalls mache ich es so und Google scheint die robots.txt zu beachten.
_________________
Suche Links mit Trust (keine Miete), Thema egal - Angebote per PM

Beitrag von **mano_negra** » 02.12.2009, 20:53

trotzdem häufen sich die beschwerden in letzter zeit, dass google sich nicht an die robot.txt hält

Beitrag von **Mork vom Ork** » 02.12.2009, 23:08

euroboy hat geschrieben:Ich meine irgendwo gehört zu haben, dass der Googlebot persönlich angesprochen werden will, also mit User-agent: Googlebot

Nein. Da hat jemand die Funktionen der robots.txt nicht verstanden bzw. falsch umgesetzt und sich dann irgendwas zusammengereimt.

mano_negra hat geschrieben:trotzdem häufen sich die beschwerden in letzter zeit, dass google sich nicht an die robot.txt hält

Bei der Durchdringung des Webs, die Google bietet, müsste es nicht nur eine Häufung geben, sondern hunderttausende, wenn nicht Millionen Beschwerden. Und mit Verlaub: Wenn ich vermuten sollte, wer einen Fehler macht, der Google-Heini mit den 150.000 US$ Jahresgehalt oder der SEO-Seitenfrickler, dann fällt meine Wahl ohne Zögern auf letzteren.
Die Fehler liegen mit Sicherheit auf Anwenderseite, seien es falsche robots.txt, seien es die Nur-URL-Einträge (ohne indizierten Seiteninhalt), sei es die Tatsache, das Google verschiedene Bots für verschiedene Bereiche hat oder auch, dass Google Seiten auf Wunsch eines Google-Benutzers abruft. Ich habe heute gerade irgendwas von einer einer personalisierten Startseite gelesen, die so einen Zugriff von Google erzeugt, aber nichts mit dem Googlebot zu tun hat und sich dementsprechend auch nicht um die robots.txt kümmert.

Beitrag von **Vegas** » 03.12.2009, 00:08

mano_negra hat geschrieben:trotzdem häufen sich die beschwerden in letzter zeit, dass google sich nicht an die robot.txt hält

Wenn man alles richtig macht, funktioniert die robots.txt fein, was aber nicht heißt, daß Google die "verbotenen" Seiten nicht aufruft, sie landen lediglich nicht im Index. So eigenet sie sich z.B. nicht zum Verschleiern von Footprints bestimmter Scripte.

Mork hat sicher Recht, selbst bei Seiten größerer Firmen sieht man teilweise vollkommen falsche robots.txt Dateien. Ähnlich .htaccess, auch hier wird viel gejammert und in den meisten Fällen werden einfach Zeichen vergessen (gerne auch ein Slash) oder der Syntax ist schlicht weg falsch.