Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

erst alle sperren, dann einzelne wieder zulassen

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

 neuer Google Bot? Java/1.4.2

Max Einträge in Robots.txt

 
bottom turn
PostRank 1
PostRank 1
Beiträge: 27
Registriert: 09.11.2005, 12:51
Wohnort: Hamburg

Beitrag von bottom turn » 09.11.2005, 13:37

Erst alle Seiten die mit "wirtschaftsnachrichten" beginnen sperren, dann einzelne wieder zulassen.
geht da?
Könnten die Zeilen im robots.txt so aussehen?

User-agent: Googlebot
Disallow: /wirtschaftsnachrichten*

User-agent: Googlebot
Allow: /wirtschaftsnachrichten-4--*
Nach oben
Antworten

Zurück zu „Spiders / Robots Themen“

  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag