ABAKUS

Verfasst: **27.02.2006, 13:59**

Hallo,

habe mal eine kleines Skript zum Testen der robots.txt geschrieben.

https://www.m-software.de/item.php?i=21

Fragen und Anregungen bitte hier im Forum posten.

Sourcen gibt es auf Anfrage (PM) auch.

Hier schon mal die Eckdaten.

Programmierung: Java / JSP
Qualität: Quick & Dirty

Applikationsserver: Tomcat oder Resin (evtl. auch andere)
Basis: Nutch

Gruß
Michael

Verfasst: **27.02.2006, 18:28**

Ich verstehe Sinn und Zweck des Programms leider nicht

Verfasst: **01.03.2006, 09:40**

Gib einfach einen URL (z.B. www.heise.de/ct/forum/) und einen Robot (z.B. MS Search 4.0 Robot) ein und das Tool prüft, ob der Crawler darauf zugreifen darf oder nicht.

Es dient dazu die Robots.txt zu prüfen.
Gruß
Michael

ABAKUS

SEO Tool "Robot Rules Parser"

SEO Tool "Robot Rules Parser"

SEO Tool "Robot Rules Parser"

SEO Tool "Robot Rules Parser"