Links/URLs in meinem neuen Webkatalog checken
Verfasst: 14.12.2012, 10:58
Hallo,
ich baue gerade einen neuen Webkatalog mit gut 3 Millionen gecrawlten URLs auf. Bevor ich diesen Katalog online stelle, suche ich nach einer Möglichkeit, die vorhandenen URLs gegen zu checken auf bekannte phishing-Seiten, Sex-Seiten etc.
Gibt es eine Möglichkeit, eine Liste dieser bekannten Seiten mit meinen URLs abzugleichen oder eine Liste mit Keywords nach denen gewisse URLs ausgeschlossen werden können ?
LG, Uli.
ich baue gerade einen neuen Webkatalog mit gut 3 Millionen gecrawlten URLs auf. Bevor ich diesen Katalog online stelle, suche ich nach einer Möglichkeit, die vorhandenen URLs gegen zu checken auf bekannte phishing-Seiten, Sex-Seiten etc.
Gibt es eine Möglichkeit, eine Liste dieser bekannten Seiten mit meinen URLs abzugleichen oder eine Liste mit Keywords nach denen gewisse URLs ausgeschlossen werden können ?
LG, Uli.
