Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Anti Spam & Pseudosuma-blocker

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 28.10.2005, 13:44

Thema Pseudosuma-blocker

Die White Robots List Fassung 29.10.05

RewriteCond %{HTTP_USER_AGENT} !^Mozilla/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Amaya/[NC]
RewriteCond %{HTTP_USER_AGENT} !^iCab [NC]
RewriteCond %{HTTP_USER_AGENT} !^w3m/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Lynx/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Emacs-W3 [NC]
RewriteCond %{HTTP_USER_AGENT} !^Letscape/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^WWWC/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Wget/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^DoCoMo/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^NATSU-MICAN/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Cuam [NC]
RewriteCond %{HTTP_USER_AGENT} !^Palmscape/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^WannaBe [NC]
RewriteCond %{HTTP_USER_AGENT} !^NCSA [NC]
RewriteCond %{HTTP_USER_AGENT} !^Playstation [NC]
RewriteCond %{HTTP_USER_AGENT} "!^sharp pda browser/" [NC]
RewriteCond %{HTTP_USER_AGENT} !^Morpheus [NC]
RewriteCond %{HTTP_USER_AGENT} !^JustView/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^Opera/ [NC]
RewriteCond %{HTTP_USER_AGENT} "!^Hatena Antenna/" [NC]
RewriteCond %{HTTP_USER_AGENT} !^Emacs-w3m/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^NATSU-MICAN/ [NC]
RewriteCond %{HTTP_USER_AGENT} !^livedoorCheckers/ [NC]
RewriteCond %{HTTP_USER_AGENT}<>%{REMOTE_ADDR} !^googlebot.*<>64\.68\.(6[4-9]¦[7-8][0-9]¦9[0-5])\. [NC,OR]
RewriteCond %{HTTP_USER_AGENT}<>%{REMOTE_ADDR} !^msnbot.*<>65\.5[2-5]\. [NC]




????????
Wer darf noch?


Danke an
Airport1
RewriteCond %{HTTP_USER_AGENT} !^Amaya/[NC]
RW
Zuletzt geändert von RW am 29.10.2005, 12:33, insgesamt 4-mal geändert.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 29.10.2005, 10:17

HI,
Keiner kann Helfen oder versteht was ich machen möchte?

Es soll eine "white robots List" geschaffen werden. Den K(r)ampf die schlechten rauszufinden ist bei der Anzahl von Möglichkeiten und Neuzugänge auf Dauer nicht machbar. Der Nutzen einer feinen und kleinen .htacces Lösung liegt dabei auf der Hand.

RW

Airport1
PostRank 10
PostRank 10
Beiträge: 4489
Registriert: 16.08.2004, 18:50
Wohnort: Backnang / bei Stuttgart

Beitrag von Airport1 » 29.10.2005, 12:05

Amaya muss noch rein. Und grundsaetzlcih dann ne Seite anzeigen wo man mit Dir in Kontakt treten kann und wo dann die Browserkennung mitgeschickt wird, falls jemand einen hat der noch nicht beruecksichtigt wurde. Sonst macht die White List wenig Sinn.
Linktauschanfragen zwecklos
https://www.bot-trap.de/ Spamschutz fuer Webmaster - zentrale Meldestelle fuer Web Spam
https://www.airport1.de/blog/ Lombagruschd Blog mid Gardadierle
https://www.ranking-hits.de/ Counter & PR Service

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 29.10.2005, 12:26

HI,
Das Problem an der Liste sind noch die gefälschte Robots
evtl. kann man dort noch was machen
Vorschläge???

RW

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 29.10.2005, 12:35

@Airport1

Meinst Du das:
RewriteRule .* https://www.bitte-melden.de [R=301,L]

RW

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 03.11.2005, 14:37

8)

Code: Alles auswählen


<?php
# Pseudosumablocker Vers 1.1 - 18.11.05 powered by RW
# Dieses Skript blockt Pseudosumas
# Der User kommt auf Seite und erhält ein Cookie
# $erlaubte_seiten = ist die Anzahl die auch ohne Cookie zu sehen sind
# $kill_after_time = User werden aus log.txt entfernt
#
# Config
/*

RewriteMap robots txt&#58;/usr/local/httpd/htdocs/counter/.robots
Path beachten !
RewriteCond $&#123;robots&#58;%&#123;REMOTE_ADDR&#125;|NOT-FOUND&#125; !=NOT-FOUND
RewriteRule .* - &#91;F,L&#93;

$_SERVER&#91;"DOCUMENT_ROOT"&#93;."/counter/log.txt Rechte 777
$_SERVER&#91;"DOCUMENT_ROOT"&#93;."/counter/.robots";

*/


$kill_after_time = 60*10;        // zeit die ein user in der log.txt bleibt
$erlaubte_seiten = 15;		// anzahl seiten die angesehen werden können
$update_time = 60*30;		// alle 30 minuten update
$robots_file_time_udate = 60*30; // alle 30 minuten update die .bad
//$dataall = @fopen&#40;"/srv/www/f4709432/cgi-bin/log_all.txt","a"&#41;;

$such_REMOTE_ADDR     = $_SERVER&#91;'REMOTE_ADDR'&#93;;
$such_HTTP_USER_AGENT = $_SERVER&#91;'HTTP_USER_AGENT'&#93;;
$counterroot = $_SERVER&#91;"DOCUMENT_ROOT"&#93;.'/counter';
$x=0;
$updaterobots=false;


//$robotsfile =$_SERVER&#91;"DOCUMENT_ROOT"&#93;."/cgi-bin/.robots";
$spiders = array&#40;"yahoo","almaden.ibm.com", "appie 1.1", "asterias2.0", "augurfind", "baiduspider", "bannana_bot", "bdcindexer", "docomo", "fast-webcrawler", "frooglebot", "geobot", "googlebot", "henrythemiragorobot", "infoseek", "sidewinder", "lachesis", "mercator", "moget/1.0", "nationaldirectory-webspider", "naverrobot", "ncsa beta", "netresearchserver", "ng/1.0", "osis-project", "polybot", "pompos", "scooter", "seventwentyfour", "slurp/si", "slurp@inktomi.com", "steeler/1.3", "szukacz", "teoma", "turnitinbot", "vagabondo", "w3c_validator", "zao/0", "zyborg/1.0"&#41;;
$spiders_such = @implode&#40;'|',$spiders&#41;;
if&#40;!preg_match&#40;"~&#40;".$spiders_such."&#41;~iU",$such_HTTP_USER_AGENT&#41; and !empty&#40;$such_REMOTE_ADDR&#41;&#41;
&#123;
			@setcookie&#40;"spamlook","1",time&#40;&#41;+3600&#41;;
			$setcookie = "<meta http-equiv=\"Set-Cookie\" content=\"spamlook=1\">";

	$zeilen = @file&#40;$counterroot."/log.txt"&#41;;
	if &#40;is_array&#40;$zeilen&#41;&#41;
	&#123;
		foreach&#40;$zeilen as $zeile&#41;
		&#123;
$zeile=@preg_replace&#40;"/\r\n|\n|\r/", "",$zeile&#41;;
			$temp = @explode&#40;'°|°', $zeile&#41;;
			if&#40;count&#40;$temp&#41;!=4&#41; // Fehler im Muster
			&#123;
			$temp='';
			continue;
			&#125;
			if&#40;&#40;$temp&#91;2&#93; < &#40;time&#40;&#41; - $kill_after_time&#41;&#41; or $_COOKIE&#91;'spamlook'&#93;&#41;
			&#123;
			$temp='';
				continue;
			&#125;
			elseif&#40;$such_REMOTE_ADDR==$temp&#91;0&#93; and $temp&#91;1&#93; > $erlaubte_seiten&#41;
			&#123;
			sumablock&#40;$update_time,$robotsfile,$temp&#41;;
			$dataall = @fopen&#40;$counterroot."/log_all.txt","a"&#41;;
			write&#40;$dataall,$such_REMOTE_ADDR.'°|°'.$_SERVER&#91;"SERVER_NAME"&#93;.'°|°'.$temp&#91;3&#93;."\n"&#41;;
			$updaterobots=true;
			$temp='';
			continue;
			&#125;
			if &#40;$such_REMOTE_ADDR==$temp&#91;0&#93;&#41;
			&#123;
				$temp&#91;1&#93;++;
			$x++;
			$new_log .= $such_REMOTE_ADDR.'°|°'.$temp&#91;1&#93;.'°|°'.$temp&#91;2&#93;.'°|°'.$temp&#91;3&#93;."\n";
			&#125;
			elseif&#40;is_array&#40;$temp&#41; and !empty&#40;$temp&#91;0&#93;&#41;&#41;
			&#123;
			$new_log .= $temp&#91;0&#93;.'°|°'.$temp&#91;1&#93;.'°|°'.$temp&#91;2&#93;.'°|°'.$temp&#91;3&#93;."\n";
			&#125;
		unset&#40;$temp,$zeile&#41;;
		&#125;
		if &#40;$x==0 and !empty&#40;$such_REMOTE_ADDR&#41; and !$_COOKIE&#91;'spamlook'&#93;&#41; &#123;
			$new_log .= $such_REMOTE_ADDR.'°|°1°|°'.time&#40;&#41;.'°|°'.@preg_replace&#40;"/\r\n|\n|\r|\t/", "",$such_HTTP_USER_AGENT&#41;."\n";
		&#125;
		if&#40;!empty&#40;$new_log&#41; and $data = @fopen&#40;$counterroot."/log.txt","w+"&#41;&#41;
		&#123;
			write&#40;$data,trim&#40;$new_log&#41;&#41;;
		&#125;
		@clearstatcache&#40;&#41;;
		if &#40;&#40;time&#40;&#41; - filemtime&#40;$robotsfile&#41;&#41; >= $robots_file_time_udate and $updaterobots==false&#41;
		&#123;
			sumablock&#40;$update_time,$robotsfile,0&#41;;
		&#125;
		unset&#40;$new_log,$such_REMOTE_ADDR,$such_HTTP_USER_AGENT&#41;;
	&#125;
&#125;

function sumablock&#40;$update_time,$robotsfile,$temp&#41;
&#123;
	$zeilen1 = @file&#40;$robotsfile&#41;;
	if &#40;is_array&#40;$zeilen1&#41;&#41;
	&#123;
		foreach&#40;$zeilen1 as $zeile&#41;
		&#123;
			$zeile=@preg_replace&#40;"/\r\n|\n|\r/", "",$zeile&#41;;
			if&#40;@preg_match&#40;"/^\s*# ~+&#40;.*&#41;~/",$zeile,$zahl&#41;&#41;
			&#123;
				$anfang = $zahl&#91;1&#93;;
			&#125;
			if&#40;$anfang < &#40;time&#40;&#41; - $update_time&#41; and !empty&#40;$zeile&#41;&#41;
			&#123;
				$zeileupdate .=$zeile."\n";
			&#125;
			if&#40;@preg_match&#40;"/&#91;0-9\.&#93;+ -.?$/",$zeile,$zahl1&#41;&#41;
			&#123;
				if&#40;$anfang < &#40;time&#40;&#41; - $update_time&#41;&#41;$zeileupdate .="\n";
				$anfang ='';
			&#125;
		&#125;
		if &#40;is_array&#40;$temp&#41;&#41;
		&#123;
			$zeileupdate .="\n";
			$zeileupdate .="# ~".time&#40;&#41;."~ block\n";
			$zeileupdate .="# ".$temp&#91;3&#93;."\n";
			$zeileupdate .=$temp&#91;0&#93;." -\n";
		&#125;
	&#125;
	if&#40;!empty&#40;$zeileupdate&#41; and $data = @fopen&#40;$robotsfile,"w+"&#41;&#41;
	&#123;
		write&#40;$data,$zeileupdate&#41;;
	&#125;
&#125;
function write&#40;$data,$new_log&#41;
&#123;
	@flock&#40;$data,1&#41;;
	@fwrite&#40;$data, $new_log&#41;;
	@flock&#40;$data,3&#41;;
	@fclose&#40;$data&#41;;
&#125;
?>


Bitte schön!

RW

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 18.11.2005, 10:07

Der Pseudosumablocker hat seine Beta-Phase verlassen!
und steht als Vers 1.1 zur Verfügung :lol:

Während der Testphase habe ich 11 Domains genutzt.

Wobei ich in der Beta Phase jeweils 3 zentrale .robots Dateien (cgi-Verzeichnis) für jeweils 4 Domains genutzt habe.

In der .robots Datei werden die "Pseudos" gespeichert.
In der .bad Datei werden die Sumas gespeichert die die robots.txt nicht beachten.

Auszug .robots Datei:

---------------------------------------------

Struktur

Code: Alles auswählen

# ~time&#40;&#41; ~
# $_SERVER&#91;'HTTP_USER_AGENT'&#93;
# $_SERVER&#91;'REMOTE_ADDR'&#93;
&#91;leer&#93;
----------------------------------------------
# ~1131732500~
# ConveraMultiMediaCrawler/0.1 (+https://www.authoritativeweb.com/crawl)
63.241.61.8 -

# ~1131751199~
# appie 1.1 (www.walhello.com)
84.104.217.38 -

# ~1131822455~
# Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
80.57.224.143 -

# ~1131847858~
# Mozilla/4.0 (compatible ; MSIE 6.0; Windows NT 5.1)
80.98.78.137 -

# ~1131970762~
# suchbaer.de
213.239.220.179 -

# ~1132005380~
# Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322)
80.120.179.10 -

# ~1132006654~
# Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
84.131.214.103 -


.bad Datei Auszug

# ~1131791872~ block
# Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50215)
66.17.15.154 -

# ~1132027541~ block
# Jyxobot/1
195.113.161.123 -

# ~1131791872~ block
# Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50215)
66.17.15.154 -

# ~1132027541~ block
# Jyxobot/1
195.113.161.123 -

8) RW

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 25.03.2006, 13:23

HI,

Code: Alles auswählen

Stand 29.03.06
Die IP Liste von http&#58;//www.iplists.com ist falsch

Bitte schaut mal nach Fehler!

Google IP's 8)

64\.68\.8[0-7]\.([0-9]{1,3})
64\.233\.(16[0-9]|17[0-9]|18[0-9]|19[0-1])\.([0-9]{1,3})
66\.102\.(0|1[0-5]|2|3|4|5|6|7|8|9)\.([0-9]{1,3})
66\.249\.(6[4-9]|7[0-9]|8[0-9]|9[0-5])\.([0-9]{1,3})
72\.14\.(19[2-9]|20[0-9]|21[0-9]|22[0-9]|23[0-9]|24[0-9]|25[0-5])\.([0-9]{1,3})
216\.239\.(3[2-9]|4[0-9]|5[0-9]|6[0-3])\.([0-9]{1,3})


RW

<?
/*
Beta Tool 1.0 IP Reducer VER 25.03.06
Diese IPs (Google) sind in Regex zusammengefast
und können sowohl im php Skript als auch in der .htacces verwendet werden
somit ist es möglich eindeutig Fuck (IPs Pseudos ) zu erkennen
PS: nach Abschluß der Beta geht Tool ( IP Reducer ) online
RW ;o)

*/



$con='
# Fuck Test
216.239.59.9
64.98.80
64.63.81
';

$con.='
# Google
# UA "Googlebot/2.1 (+https://www.googlebot.com/bot.html)"
# UA "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
# UA "Googlebot/Test"
# UA "Mediapartners-Google/2.1 (+https://www.googlebot.com/bot.html)"
# UA "Googlebot/Test (+https://www.googlebot.com/bot.html)"
# UA "Mediapartners-Google/2.1"
# UA "Googlebot-Image/1.0"
209.185.108
209.185.253
216.33.229.163
216.239.33.96
216.239.33.97
216.239.33.98
216.239.33.99
216.239.37.98
216.239.37.99
216.239.39.98
216.239.39.99
216.239.41.96
216.239.41.97
216.239.41.98
216.239.41.99
216.239.45.4
216.239.46
216.239.51.96
216.239.51.97
216.239.51.98
216.239.51.99
216.239.53.98
216.239.53.99
216.239.57.96
216.239.57.97
216.239.57.98
216.239.57.99
216.239.59.98
216.239.59.99
64.68.80
64.68.81
64.68.82
64.68.83
64.68.84
64.68.85
64.68.86
64.68.87
64.68.88
64.68.89
64.68.90.1
64.68.90.10
64.68.90.11
64.68.90.12
64.68.90.129
64.68.90.13
64.68.90.130
64.68.90.131
64.68.90.132
64.68.90.133
64.68.90.134
64.68.90.135
64.68.90.136
64.68.90.137
64.68.90.138
64.68.90.139
64.68.90.14
64.68.90.140
64.68.90.141
64.68.90.142
64.68.90.143
64.68.90.144
64.68.90.145
64.68.90.146
64.68.90.147
64.68.90.148
64.68.90.149
64.68.90.15
64.68.90.150
64.68.90.151
64.68.90.152
64.68.90.153
64.68.90.154
64.68.90.155
64.68.90.156
64.68.90.157
64.68.90.158
64.68.90.159
64.68.90.16
64.68.90.160
64.68.90.161
64.68.90.162
64.68.90.163
64.68.90.164
64.68.90.165
64.68.90.166
64.68.90.167
64.68.90.168
64.68.90.169
64.68.90.17
64.68.90.170
64.68.90.171
64.68.90.172
64.68.90.173
64.68.90.174
64.68.90.175
64.68.90.176
64.68.90.177
64.68.90.178
64.68.90.179
64.68.90.18
64.68.90.180
64.68.90.181
64.68.90.182
64.68.90.183
64.68.90.184
64.68.90.185
64.68.90.186
64.68.90.187
64.68.90.188
64.68.90.189
64.68.90.19
64.68.90.190
64.68.90.191
64.68.90.192
64.68.90.193
64.68.90.194
64.68.90.195
64.68.90.196
64.68.90.197
64.68.90.198
64.68.90.199
64.68.90.2
64.68.90.20
64.68.90.200
64.68.90.201
64.68.90.202
64.68.90.203
64.68.90.204
64.68.90.205
64.68.90.206
64.68.90.207
64.68.90.208
64.68.90.21
64.68.90.22
64.68.90.23
64.68.90.24
64.68.90.25
64.68.90.26
64.68.90.27
64.68.90.28
64.68.90.29
64.68.90.3
64.68.90.30
64.68.90.31
64.68.90.32
64.68.90.33
64.68.90.34
64.68.90.35
64.68.90.36
64.68.90.37
64.68.90.38
64.68.90.39
64.68.90.4
64.68.90.40
64.68.90.41
64.68.90.42
64.68.90.43
64.68.90.44
64.68.90.45
64.68.90.46
64.68.90.47
64.68.90.48
64.68.90.49
64.68.90.5
64.68.90.50
64.68.90.51
64.68.90.52
64.68.90.53
64.68.90.54
64.68.90.55
64.68.90.56
64.68.90.57
64.68.90.58
64.68.90.59
64.68.90.6
64.68.90.60
64.68.90.61
64.68.90.62
64.68.90.63
64.68.90.64
64.68.90.65
64.68.90.66
64.68.90.67
64.68.90.68
64.68.90.69
64.68.90.7
64.68.90.70
64.68.90.71
64.68.90.72
64.68.90.73
64.68.90.74
64.68.90.75
64.68.90.76
64.68.90.77
64.68.90.78
64.68.90.79
64.68.90.8
64.68.90.80
64.68.90.9
64.68.91
64.68.92
64.233.173.193
64.233.173.194
64.233.173.195
64.233.173.196
64.233.173.197
64.233.173.198
64.233.173.199
64.233.173.200
64.233.173.201
64.233.173.202
64.233.173.203
64.233.173.204
64.233.173.205
64.233.173.206
64.233.173.207
64.233.173.208
64.233.173.209
64.233.173.210
64.233.173.211
64.233.173.212
64.233.173.213
64.233.173.214
64.233.173.215
64.233.173.216
64.233.173.217
64.233.173.218
64.233.173.219
64.233.173.220
64.233.173.221
64.233.173.222
64.233.173.223
64.233.173.224
64.233.173.225
64.233.173.226
64.233.173.227
64.233.173.228
64.233.173.229
64.233.173.230
64.233.173.231
64.233.173.232
64.233.173.233
64.233.173.234
64.233.173.235
64.233.173.236
64.233.173.237
64.233.173.238
64.233.173.239
64.233.173.240
64.233.173.241
64.233.173.242
64.233.173.243
64.233.173.244
64.233.173.245
64.233.173.246
64.233.173.247
64.233.173.248
64.233.173.249
64.233.173.250
64.233.173.251
64.233.173.252
64.233.173.253
64.233.173.254
64.233.173.255
66.249.64
66.249.65
66.249.66
66.249.67
66.249.68
66.249.69
66.249.70
66.249.71
66.249.72
66.249.78
66.249.79
# ende GOOOOOOOOOOOOOOOOOOGLE
';

$debug=false;
if(!empty($con))
{
$con_array = explode("\n",$con);
if(is_array($con_array))
{
if($debug==true){ echo"<pre>"; print_r($con_array);echo "</pre>";}
echo"<pre>";
foreach($con_array as $ip)
{
$ip = trim($ip);
if(!empty($ip) and !ereg('#',$ip ))
{
// echo $ip.'<br>';

if (preg_match("/^66\.102\.(0|1[0-5]|2|3|4|5|6|7|8|9)\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

elseif (preg_match("/^66\.249\.(6[4-9]|7[0-9]|8[0-9]|9[0-5])\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

elseif (preg_match("/^64\.233\.(16[0-9]|17[0-9]|18[0-9]|19[0-1])\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

elseif (preg_match("/^64\.68\.8[0-7]\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

elseif (preg_match("/^216\.239\.(3[2-9]|4[0-9]|5[0-9]|6[0-3])\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

elseif (preg_match("/^72\.14\.(19[2-9]|20[0-9]|21[0-9]|22[0-9]|23[0-9]|24[0-9]|25[0-5])\.([0-9]{1,3})+$/",$ip,$array))
{
continue;
}

else
{
echo "<br>
<b>$ip</b> not regex (Fuck Test) or keine Google IP
<br>";
}

}
}
}
echo"</pre>";
}
?>
Zuletzt geändert von RW am 28.08.2006, 18:19, insgesamt 3-mal geändert.

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 25.03.2006, 15:57

HI,

White Robots Ergänzung Stand 25.03.06

RewriteCond %{HTTP_USER_AGENT}<>%{REMOTE_ADDR} !^Robot.*<>Regex[NC]

IPs von https://www.iplists.com/ :evil:

Die IPs von der Adresse Stimmen nicht!



RW

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 29.03.2006, 11:30

Hi,
Nach einem whois Abgleich sind die Google Ip's

64.233.160.0 - 64.233.191.255
64.68.80.0 - 64.68.87.255
66.249.64.0 - 66.249.79.255
216.239.32.0 - 216.239.63.255
72.14.192.0 - 72.14.255.255
64.233.160.0 - 64.233.191.255

Ich hoffe die Ergänzung (vom 25.03.06) der "White Robots List" zum späteren Zeitpunkt online zu stellen.

RW

callimann
PostRank 3
PostRank 3
Beiträge: 86
Registriert: 07.05.2004, 11:52

Beitrag von callimann » 29.03.2006, 21:38

Wenn jetzt Google neue IPs nimmt, dann kommen die nicht mehr auf meine Seite?
Vielleicht kann man es mit einem Automatikabgleich der IP Listen sicherstellen, das der Blocker immer up2date ist.
Ansonsten wohl die einzige Möglichkeit diese Pseudos mit meinem Content aus den Serps zu halten.

Ice Man
PostRank 9
PostRank 9
Beiträge: 2477
Registriert: 04.06.2003, 19:16

Beitrag von Ice Man » 29.03.2006, 21:44

Mal ne Frage, belaste solch eine Riesen Liste nicht den Server.
Und erfolgt die Abfrage bei jedem Aufruf ?

Dauer ein Webseiten Aufruf dadurch läger ?

Fluidum
PostRank 5
PostRank 5
Beiträge: 258
Registriert: 18.12.2005, 18:09

Beitrag von Fluidum » 29.03.2006, 22:31

Kannst ja mal testen wieviel länger es dauert...

Hier mal ein kleiner Performance Test:

Code: Alles auswählen

<?php
  function start_timer&#40;$event&#41; &#123;
    printf&#40;"timer&#58; %s<br>\n", $event&#41;;
    list&#40;$low, $high&#41; = explode&#40;" ", microtime&#40;&#41;&#41;;
    $t = $high + $low;
    flush&#40;&#41;;

    return $t;
  &#125;

  function next_timer&#40;$start, $event&#41; &#123;
    list&#40;$low, $high&#41; = explode&#40;" ", microtime&#40;&#41;&#41;;
    $t    = $high + $low;
    $used = $t - $start;
    printf&#40;"timer&#58; %s &#40;%8.4f&#41;<br>\n", $event, $used&#41;;
    flush&#40;&#41;;

    return $t;
  &#125;

  $t = start_timer&#40;"start Befehl 1"&#41;;

  /* Hier den ersten Befehl einfuegen */

  $t = next_timer&#40;$t, "start Befehl 2"&#41;;

  /* Hier den zweiten Befehl einfuegen */

  $t = next_timer&#40;$t, "finish"&#41;;
?>

RW
PostRank 6
PostRank 6
Beiträge: 436
Registriert: 23.07.2003, 08:54

Beitrag von RW » 30.03.2006, 08:02

HI,

Der Pseudosumablocker arbeitete mit RewriteMap
RewriteMap robots txt:/usr/local/httpd/htdocs/counter/.robots
Path beachten !
RewriteCond ${robots:%{REMOTE_ADDR}|NOT-FOUND} !=NOT-FOUND
RewriteRule .* - [F,L]
Das hat den Vorteil das die ganze Sache sehr Resource schonend ist.
Das Skript ist aus Performance-Gründen sehr schlank gehalten.
https://buecher.lingoworld.de/apache2/s ... =674&o=dir

Ein "Autoupdate" ist mit einer Whois Abfrage für Google möglich.
Google liefert eine eindeutige Kennung.
Pseudosumablocker Vers 1.2 werde ich die Whois berücksichtigen.


Network number information from ARIN
OrgName: Google Inc.
OrgID: GOGL
Address: 1600 Amphitheatre Parkway
City: Mountain View
StateProv: CA
PostalCode: 94043
Country: US
NetRange: 66.249.64.0 - 66.249.95.255
....
RW

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag