Unknown robot (identified by 'crawl') wie aussperren?

Beitrag von **helixxx** » 04.01.2006, 23:39

Bräuchte ich nurnoch deine Robots.txt. *gg*

Am Besten du sendest mir mal den kompletten Inhalt deiner Robots.txt und .htaccess per PN zu. Bei den Stückelungen verliere ich solangsam nämlich den Überblick.
Das wäre auf jedenfall sehr nett!!

Dankeschonmal bis hier hin für deine Mühen!

von **Anzeige von ABAKUS** »

Beitrag von **luigip** » 05.01.2006, 14:12

Hobby-SEO schrieb:

irgendjemand hat diese Variante, eine Standarddomain zu definieren, hier im Forum gepostet. Weiß leider nicht mehr, wer es war.

Es war Mod. Southmedia unter Wichtiges im Forum Webcoding u. Programmierung ! (Wo Sonst?)
https://www.abakus-internet-marketing.d ... -7439.html

Code: Alles auswählen

# blocken nach IP Bereichen 
<Limit GET POST> 
order deny,allow 
deny from 195.166.237 
deny from 80.77.86 
deny from 69.36.190.175 
deny from 212.227.83.69 
allow from all 
</Limit>

Diesen Code hättest du dir sparen können, denn deine letzte Anweisung lautet : allow from all
Damit erlaubst du jeden wieder Zugriff.

Wenn schon dann so:

Code: Alles auswählen

order allow, deny
deny from 195.166.237 
deny from 80.77.86 
deny from 69.36.190.175 
deny from 212.227.83.69

Also zuerst allen erlauben und dann gezielt aussperren.

Beitrag von **Hobby-SEO** » 06.01.2006, 14:54

@luigip:

Vielen Dank für den Hinweis! Habe da Blödsinn gemacht. Kommt davon, wenn man herumspielt, ohne sich auszukennen. Also folgendes funktioniert jetzt aber wirklich:

Code: Alles auswählen

# blocken nach IP Bereichen
<Limit GET POST>
order allow,deny
allow from all
deny from 195.166.237
deny from 80.77.86
deny from 69.36.190.175
deny from 212.227.83.69
deny from 64.246.0.0/18 
deny from 67.15. 
deny from 207.218.192.0/18 
deny from 216.127.64.0/19
</Limit>

<Limit PUT DELETE>
order deny,allow
deny from all
</Limit>

Die oben vorgestellte Festlegung der Standarddomain stammt aber nicht von Southmedia sondern von Mario670: https://www.abakus-internet-marketing.d ... tml#148064

Die beiden Varianten im Vergleich:

Southmedia:

Code: Alles auswählen

RewriteEngine on 

RewriteCond %&#123;HTTP_HOST&#125; !^www\.southmedia\.de$ 
RewriteRule ^&#40;.*&#41;$ http&#58;//www.southmedia.de/$1 &#91;L,R=301&#93;

Mario670:

Code: Alles auswählen

RewriteEngine on

RewriteCond %&#123;HTTP_HOST&#125; !^www\. &#91;NC&#93;
RewriteCond %&#123;HTTP_HOST&#125; !^$
RewriteRule ^&#40;.*&#41; http&#58;//www.%&#123;HTTP_HOST&#125;/$1 &#91;R=301,L&#93;

Vielen Dank noch einmal für den Hinweis auf meinen Fehler!

@helixxx:

PN kommt in Kürze, auch wenn ich Seitenspezifisches natürlich weglassen werde.

LG, Hobby-SEO