Unser Shop www.sotel.de mit PR 4 ist noch nicht bei Alexa vorhanden / gelistet.
Wollte ihn dort test weise spidern lassen / checken lassen. Da kam eine meldung, dass unsere robots.txt den ia_archiver Crawler blocken würde, mit welchem Alexa spidert.
Obowlh ich die robots.txt diesbezüglich bereinigt habe, kam der Fehler weiterhin.
==>> was muss ich in den robots.txt noch löschen bzw. hängt dies damit zusammen, dass ich bei Alexa nicht gelistet bin!?