SEO Tool "Robot Rules Parser"

Beitrag von **Michael** » 27.02.2006, 13:59

Hallo,

habe mal eine kleines Skript zum Testen der robots.txt geschrieben.

https://www.m-software.de/item.php?i=21

Fragen und Anregungen bitte hier im Forum posten.

Sourcen gibt es auf Anfrage (PM) auch.

Hier schon mal die Eckdaten.

Programmierung: Java / JSP
Qualität: Quick & Dirty

Applikationsserver: Tomcat oder Resin (evtl. auch andere)
Basis: Nutch

Gruß
Michael

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Ranking-Check** » 27.02.2006, 18:28

Ich verstehe Sinn und Zweck des Programms leider nicht

Beitrag von **Michael** » 01.03.2006, 09:40

Gib einfach einen URL (z.B. www.heise.de/ct/forum/) und einen Robot (z.B. MS Search 4.0 Robot) ein und das Tool prüft, ob der Crawler darauf zugreifen darf oder nicht.

Es dient dazu die Robots.txt zu prüfen.
Gruß
Michael