Seite 1 von 1
Trotz robots.txt werden Seiten indexiert :(
Verfasst: 19.01.2005, 05:10
von onlinegeiz
Der Google Bot indexiert alle Seiten. Auch die, die er nicht soll.
Kann mir jemand erlären warum das passiert?
Ist vieleicht meine robots.txt falsch?
User-agent: *
Disallow: /address_book_process.php
Disallow: /account.php
Disallow: /account_edit.php
Disallow: /account_edit_process.php
Disallow: /account_history.php
Disallow: /account_history_info.php
Disallow: /address_book.php
Disallow: /checkout_process.php
Disallow: /advanced_search.php
Disallow: /advanced_search_result.php
Disallow: /checkout_address.php
Disallow: /checkout_confirmation.php
Disallow: /checkout_payment.php
Disallow: /checkout_success.php
Disallow: /contact_us.php
Disallow: /create_account.php
Disallow: /create_account_guest.php
Disallow: /create_account_process.php
Disallow: /create_account_success.php
Disallow: /info_shopping_cart.php
Disallow: /login.php
Disallow: /logoff.php
Disallow: /password_double_opt.php
Disallow: /popup_image.php
Disallow: /popup_search_help.php
Disallow: /privacy.php
Disallow: /product_notifications.php
Disallow: /product_reviews.php
Disallow: /product_reviews_info.php
Disallow: /reviews.php
Disallow: /shipping.php
Disallow: /admin/
Disallow: /export/
Disallow: /download/
Disallow: /includes/
Disallow: /pub/
Disallow: /media/
DANKE
Verfasst: 19.01.2005, 08:14
von SEO-Guy
nur unterverzeichnisse werden nicht eingelesen
Verfasst: 19.01.2005, 14:30
von onlinegeiz
SEO-Guy hat geschrieben:nur unterverzeichnisse werden nicht eingelesen
Und was ist mit den php files????
Was sollte den da stehen, damit die auch nicht ausgelesen werden?
DANKE
Verfasst: 19.01.2005, 14:32
von Mario670
Benutz mal die Suche, das gibt es massig Beiträge drüber
Verfasst: 19.01.2005, 15:01
von onlinegeiz
Ich habe schon die suche benutze... aber trotzdem nicht das gefunden wonach ich gesucht habe.
Viele verweisen auf diese org seite auf die auch google verweist.
Aber bei mir in der roboters.txt habe ich genau das meiner meinung nach stehen wie es beschrieben wird. da es trzdem nicht klapt, frage ich jetzt hier.
Einfach einmal meine Datei richtig schreiben. und alle die auch das problem haben sollten können sich ein bsp. nehmen.
DANKE
Verfasst: 19.01.2005, 15:10
von Jojo
robots.txt nennt sich die.
Ich gehe davon aus das sie schon funktioniert. Man sollte sich wohl nicht davon irritieren lassen wenn Google bei der site-Abfrage die Url anzeigt. Google mag die Url kennen, aber hat diese wohl nicht gespidert.
Verfasst: 19.01.2005, 15:23
von JR-EWING
Bei der Site Abfrage steht unter dem link dann nur "ähnliche Seiten" und es wird keine Beschreibung angezeigt.
Verfasst: 19.01.2005, 16:53
von onlinegeiz
JR-EWING hat geschrieben:Bei der Site Abfrage steht unter dem link dann nur "ähnliche Seiten" und es wird keine Beschreibung angezeigt.
Wenn das so ist, verstehe ich nicht warum google die seiten indexiert hat, wie man es auf der nachfolgenden seite sehen kann.
https://www.google.de/search?hl=de&q=si ... z.de&meta=
Verfasst: 19.01.2005, 17:27
von JR-EWING
Beispiel: deine create_account.php
D.h Google weiß daß es die Seite gibt aber nicht was draufsteht.
Verfasst: 19.01.2005, 17:47
von onlinegeiz
JR-EWING hat geschrieben:Beispiel: deine create_account.php
D.h Google weiß daß es die Seite gibt aber nicht was draufsteht.
Was soll ich den machen, damit google es nicht mehr weiß??? Die soll ja im Index überhaupt nicht auftauchen.
Verfasst: 19.01.2005, 22:47
von brise
Du kannst die Seiten für 90 (?) Tage aus dem Index ausblenden lassen und zwar mit diesem Tool ->
https://services.google.com:8882/urlconsole/controller
Benutzung auf eigenes Risiko
Frag mal die Suchfkt. nach 'urlconsole'
