Noindex Seiten einer Domain finden

Beitrag von **Ercio** » 04.04.2012, 09:43

Hallo zusammen,

gibt es eine Möglichkeit, nicht indizierte (noindex) Seiten einer fremden Domain zu finden bzw. eine Liste aller Seiten der Domain zu bekommen?

Wäre sehr wichtig!!

Danke!

von **Anzeige von ABAKUS** »

Beitrag von **Melegrian** » 04.04.2012, 10:06

Mit einem Crawler, der sich nicht an noindex hält, sollte das möglich sein. Nur weiß ich nicht, wer so etwas anbietet. Vielleicht bringt der das schon, weiß es jedoch nicht: https://gsitecrawler.com/de/

Du hast doch keine unsauberen Sachen damit vor?