Seite 1 von 1

Was beutet diese robots.txt

Verfasst: 22.04.2010, 08:33
von volli
Hallo zusammen,

bei der Konkurrenz ist mir folgende robots.txt aufgefallen:

Code: Alles auswählen

<?
header&#40;'Content-type&#58; text/plain'&#41;;
?>
User-agent&#58; *
Disallow&#58; /click.php
Disallow&#58; /more_results.php
<?
function crapback&#40;&#41;
&#123;

&#125;
@ob_start&#40;'crapback'&#41;;
include&#40;"main_include.php"&#41;;

$ip_address = $_SERVER&#91;"REMOTE_ADDR"&#93;;
$user_agent = addslashes&#40;stripslashes&#40;$HTTP_USER_AGENT&#41;&#41;;
$reverse_dns = @gethostbyaddr&#40;$ip_address&#41;;

$sql = "INSERT INTO RobotUserAgent SET 
user_agent = '$user_agent', 
bot_counter = '1' 
ON DUPLICATE KEY UPDATE bot_counter = bot_counter + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "SELECT bot_id, bot FROM RobotUserAgent WHERE user_agent = '$user_agent'";
echo $sql;

$res = db_query&#40;$sql,'RobotStats'&#41;;
$bot = db_fetch_array&#40;$res&#41;;
$sql = "INSERT INTO RobotIP SET bot_id = '$bot&#91;bot_id&#93;', ip = '$ip_address', reverse_dns = '$reverse_dns', ip_counter = '1'
ON DUPLICATE KEY UPDATE ip_counter = ip_counter + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;

$sql = "SELECT robot_ip FROM RobotIP WHERE ip = '$ip_address' and bot_id = '$bot&#91;bot_id&#93;'";
echo $sql;

$res = db_query&#40;$sql, 'RobotStats'&#41;;
$robot = db_fetch_array&#40;$res&#41;;
$robot_day = date&#40;"Y-m-d", time&#40;&#41;&#41;;
$sql = "INSERT IGNORE INTO RobotDomain SET domain = '$host&#91;domain&#93;', bot_id = '$bot&#91;bot_id&#93;', robot_ip = '$robot&#91;robot_ip&#93;', domain_day = '$robot_day'";
echo $sql;

db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "INSERT INTO RobotHits SET bot_id = '$bot&#91;bot_id&#93;', bot_day = '$robot_day', bot_hit = '1'
ON DUPLICATE KEY UPDATE bot_hit = bot_hit + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "SELECT * FROM IP.UserAgentQuery WHERE user_agent_query = '$user_agent'";
$res = db_query&#40;$sql, 'IP'&#41;;
$ipag = db_fetch_array&#40;$res&#41;;

if &#40;is_array&#40;$ipag&#41;&#41;
&#123;
        if &#40;$ipag&#91;bot_type&#93; == 'G'&#41;
        &#123;
                $spider = 'Y';
        &#125;
        elseif &#40;$ipag&#91;bot_type&#93; == 'Y'&#41;
        &#123;
                $spider = 'N';
        &#125;
	$sql = "INSERT INTO IPBan SET remote_addr = '$ip_address', spider = '$spider', which_se = '$bot&#91;bot_id&#93;' ON DUPLICATE KEY UPDATE which_se = '$bot&#91;bot_id&#93;'";
	echo $sql;
	db_query&#40;$sql, 'IP'&#41;;
	$sql = "SELECT * FROM RobotDisallow WHERE bot_id = '$bot&#91;bot_id&#93;'";
	$res = db_query&#40;$sql, 'RobotStats'&#41;;
	$rd = db_fetch_array&#40;$res&#41;;
	if &#40;is_array&#40;$rd&#41;&#41;
	&#123;
		$rt = "User-agent&#58; $HTTP_USER_AGENT\n";
		$rt .= "Crawl-Delay&#58; $rd&#91;crawl&#93;\n";
		$rt .= "Disallow&#58; $rt&#91;disallow&#93;\n";
	&#125;
&#125;

@ob_end_clean&#40;&#41;;
if &#40;$rt&#41;
&#123;
	echo $rt;
&#125;

?>
was bewirkt diese?

Sorry, falls es eine dumme Frage ist aber ich bin nicht so der Codefinger...

Danke und schöne Grüße

Verfasst:
von

Re: Was beutet diese robots.txt

Verfasst: 22.04.2010, 08:43
von DanielS
volli hat geschrieben:bei der Konkurrenz ist mir folgende robots.txt aufgefallen:

Sorry, falls es eine dumme Frage ist aber ich bin nicht so der Codefinger...
Sorry, wenn ich jetzt auch eine dumme Frage stelle, aber Du hast Zugriff auf die php-Dateien Deiner Konkurrenz? :o

Verfasst: 22.04.2010, 08:51
von volli
Das ist ja das kranke! Er hat das in seiner robots.txt stehen. Eigentlich sieht so eine Datei ganz anders aus. Darum versteh ich auch nicht was das soll. :crazyeyes:

Verfasst:
von

Verfasst: 22.04.2010, 08:58
von DanielS
Dann hat wohl einer vergessen .txt dem PHP-Parser zuzuordnen.

Was er wahrscheinlich vorhat ist abhängig vom User-Agent dynamisch eine robots.txt zu generieren. Zusätzlich wird dann die IP auch in eine Tabelle eingetragen, um die IPs der Bots zu Speichern.

Verfasst: 22.04.2010, 09:06
von Synonym
Interessant. Das scheint wohl ein Versuch zu sein, eine robots.txt dynamisch zu schreiben und auch die Zugriffe darauf zu loggen. Derjenige war wohl einfach nicht fähig die Datei richtig zu benennen oder dem PHP-Interpreter beizubringen auch .txt-Files zu parsen.

ok, zu langsam...

Verfasst: 22.04.2010, 09:25
von volli
Ok, ich dachte schon das hätte einer etwas ganz verrücktes gemacht und ist deshalb vor mir, dabei ist es einfach nur ein Fehler in seinem Code :-)

schönen Dank für eure Antworten.

Verfasst: 22.04.2010, 11:44
von Pompom
Ich tippe mal, das ist eine robots.txt-Verschwörung.

https://www.google.de/search?q=db_query ... e&filter=0

Verfasst: 22.04.2010, 12:04
von lois69
der daemlack hat einfach keine robots.txt und eine 404 drinnen

Verfasst: 22.04.2010, 12:14
von Pompom
Oh, doch nur eine 404-Verschwörung...
lois69 hat sie enttarnt.

Verfasst: 23.04.2010, 13:11
von volli
und was haben die Illuminaten damit zu tun? :>