ABAKUS

Wenn man nach Useragent looksmart sucht ist Webby's robots.txt an dritter stelle, entweder habe ich das bisher übersehen oder es ist neu das Google die robots.txt indexiert.

Also ich sehe da nur dieses Ergebniss an dritter Stelle:
www.abakus-internet-marketing.de/ foren/viewtopic/p-11918.html

firestarter hat geschrieben:Also ich sehe da nur dieses Ergebniss an dritter Stelle:
www.abakus-internet-marketing.de/ foren/viewtopic/p-11918.html

User-agent: looksmart

gibts noch nicht lange oder?

moin moin,

wahrscheinlich gibt es irgendwo nen link zur datei und
keinen eintrag im spider der suchmaschine, das er
die robots.txt in ruhe lassen soll.

grüsse

Richtig bugscout - schaut euch einfach mal die Verweisseiten an, dann wisst Ihr mehr:

https://www.google.com/search?sourceid= ... bots%2Etxt