Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Slurp will robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

 FotoChecker .. scannt nach Bildern

Simulation eines Crawlers

 
k-weddige
PostRank 4
PostRank 4
Beiträge: 121
Registriert: 17.03.2006, 23:05

Beitrag von k-weddige » 15.08.2006, 19:14

Ist es normal, wenn Slurp die robotss.txt im 20-Minuten-Takt haben will?
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Nach oben
Anonymous

Beitrag von Anonymous » 15.08.2006, 19:25

ist denn eine da?
Nach oben
k-weddige
PostRank 4
PostRank 4
Beiträge: 121
Registriert: 17.03.2006, 23:05

Beitrag von k-weddige » 16.08.2006, 17:45

Jep! (is aber leer)
Nach oben
blinkster
PostRank 3
PostRank 3
Beiträge: 96
Registriert: 26.10.2005, 17:41

Beitrag von blinkster » 10.10.2006, 13:41

Dann füll sie doch, damit der Robot zumindest weiß, was los ist, sonst steht der nur dumm da und guckt aus der Wäsche...
Linktausch oder Ads (20.000 Impressions/Monat)? Mail per PN: Computer/EDV/et cetera
Blinkster.de - yet another computer forum
4 Euro pro 1000 Besucher verdienen
Nach oben
Antworten

Zurück zu „Spiders / Robots Themen“

  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag