gespidert aber nicht im index
Verfasst: 25.07.2005, 13:35
salut leute,
es geht grade um die indizierung eines XTC.
ca 20 dateien sind am 18ten &am 19ten nochmal (also schon vor einer Woche) gespidert worden aber bis jetzt noch nicht im index.
woran kann das liegen?
sehe bei anderen projekten teilweise alte positionierungen von vor über 2 wochen.
sieht nach alten datenbeständen aus.
allerdings auch bei mehrern DCs.
könnte das ein grund sein für o.g. problem?
könnt ihr das mit den alten daten bestätigen?
gruss axel
-----------------------EDIT-------------------------------------------------
nach dem letzten spiderdurchgang wurde ne robots angelegt und seitdem nichts mehr aus dem shop sondern bloss noch die website gecrawlt.
sieht also fast so aus als ob ich da was verboten hätte.
kann aber in der robots nix fehlerhaftes finden.
manchmal sieht man ja den wald vor lauter bäumen nicht, deshalb poste ich sie mal .vielleicht sieht ja jemand von euch was.
es geht grade um die indizierung eines XTC.
ca 20 dateien sind am 18ten &am 19ten nochmal (also schon vor einer Woche) gespidert worden aber bis jetzt noch nicht im index.
woran kann das liegen?
sehe bei anderen projekten teilweise alte positionierungen von vor über 2 wochen.
sieht nach alten datenbeständen aus.
allerdings auch bei mehrern DCs.
könnte das ein grund sein für o.g. problem?
könnt ihr das mit den alten daten bestätigen?
gruss axel
-----------------------EDIT-------------------------------------------------
nach dem letzten spiderdurchgang wurde ne robots angelegt und seitdem nichts mehr aus dem shop sondern bloss noch die website gecrawlt.
sieht also fast so aus als ob ich da was verboten hätte.
kann aber in der robots nix fehlerhaftes finden.
manchmal sieht man ja den wald vor lauter bäumen nicht, deshalb poste ich sie mal .vielleicht sieht ja jemand von euch was.
User-agent: *
Disallow: /toner-shop/address_book_process.php
Disallow: /toner-shop/account.php
Disallow: /toner-shop/account_edit.php
Disallow: /toner-shop/account_edit_process.php
Disallow: /toner-shop/account_history.php
Disallow: /toner-shop/account_history_info.php
Disallow: /toner-shop/address_book.php
Disallow: /toner-shop/checkout_process.php
Disallow: /toner-shop/advanced_search.php
Disallow: /toner-shop/advanced_search_result.php
Disallow: /toner-shop/checkout_address.php
Disallow: /toner-shop/checkout_confirmation.php
Disallow: /toner-shop/checkout_payment.php
Disallow: /toner-shop/checkout_success.php
Disallow: /toner-shop/contact_us.php
Disallow: /toner-shop/create_account.php
Disallow: /toner-shop/create_account_guest.php
Disallow: /toner-shop/create_account_process.php
Disallow: /toner-shop/create_account_success.php
Disallow: /toner-shop/info_shopping_cart.php
Disallow: /toner-shop/login.php
Disallow: /toner-shop/logoff.php
Disallow: /toner-shop/password_double_opt.php
Disallow: /toner-shop/popup_image.php
Disallow: /toner-shop/popup_search_help.php
Disallow: /toner-shop/privacy.php
Disallow: /toner-shop/product_notifications.php
Disallow: /toner-shop/product_reviews.php
Disallow: /toner-shop/product_reviews_info.php
Disallow: /toner-shop/reviews.php
Disallow: /toner-shop/shipping.php
Disallow: /toner-shop/admin/
Disallow: /toner-shop/export/
Disallow: /toner-shop/download/
Disallow: /toner-shop/includes/
Disallow: /toner-shop/pub/
Disallow: /toner-shop/media/
