Google spidert und indexiert robots.txt?

Beitrag von **viggen** » 25.03.2004, 07:07

Wenn man nach Useragent looksmart sucht ist Webby's robots.txt an dritter stelle, entweder habe ich das bisher übersehen oder es ist neu das Google die robots.txt indexiert.

von **Anzeige von ABAKUS** »

Beitrag von **firestarter** » 25.03.2004, 09:59

Also ich sehe da nur dieses Ergebniss an dritter Stelle:
www.abakus-internet-marketing.de/ foren/viewtopic/p-11918.html

Beitrag von **viggen** » 25.03.2004, 11:32

firestarter hat geschrieben:Also ich sehe da nur dieses Ergebniss an dritter Stelle:
www.abakus-internet-marketing.de/ foren/viewtopic/p-11918.html

User-agent: looksmart

gibts noch nicht lange oder?

Beitrag von **bugscout** » 25.03.2004, 12:14

moin moin,

wahrscheinlich gibt es irgendwo nen link zur datei und
keinen eintrag im spider der suchmaschine, das er
die robots.txt in ruhe lassen soll.

grüsse

Beitrag von **Noki** » 25.03.2004, 14:36

Richtig bugscout - schaut euch einfach mal die Verweisseiten an, dann wisst Ihr mehr:

https://www.google.com/search?sourceid= ... bots%2Etxt