Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Was beutet diese robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
volli
PostRank 4
PostRank 4
Beiträge: 111
Registriert: 21.04.2010, 09:09

Beitrag von volli » 22.04.2010, 08:33

Hallo zusammen,

bei der Konkurrenz ist mir folgende robots.txt aufgefallen:

Code: Alles auswählen

<?
header&#40;'Content-type&#58; text/plain'&#41;;
?>
User-agent&#58; *
Disallow&#58; /click.php
Disallow&#58; /more_results.php
<?
function crapback&#40;&#41;
&#123;

&#125;
@ob_start&#40;'crapback'&#41;;
include&#40;"main_include.php"&#41;;

$ip_address = $_SERVER&#91;"REMOTE_ADDR"&#93;;
$user_agent = addslashes&#40;stripslashes&#40;$HTTP_USER_AGENT&#41;&#41;;
$reverse_dns = @gethostbyaddr&#40;$ip_address&#41;;

$sql = "INSERT INTO RobotUserAgent SET 
user_agent = '$user_agent', 
bot_counter = '1' 
ON DUPLICATE KEY UPDATE bot_counter = bot_counter + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "SELECT bot_id, bot FROM RobotUserAgent WHERE user_agent = '$user_agent'";
echo $sql;

$res = db_query&#40;$sql,'RobotStats'&#41;;
$bot = db_fetch_array&#40;$res&#41;;
$sql = "INSERT INTO RobotIP SET bot_id = '$bot&#91;bot_id&#93;', ip = '$ip_address', reverse_dns = '$reverse_dns', ip_counter = '1'
ON DUPLICATE KEY UPDATE ip_counter = ip_counter + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;

$sql = "SELECT robot_ip FROM RobotIP WHERE ip = '$ip_address' and bot_id = '$bot&#91;bot_id&#93;'";
echo $sql;

$res = db_query&#40;$sql, 'RobotStats'&#41;;
$robot = db_fetch_array&#40;$res&#41;;
$robot_day = date&#40;"Y-m-d", time&#40;&#41;&#41;;
$sql = "INSERT IGNORE INTO RobotDomain SET domain = '$host&#91;domain&#93;', bot_id = '$bot&#91;bot_id&#93;', robot_ip = '$robot&#91;robot_ip&#93;', domain_day = '$robot_day'";
echo $sql;

db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "INSERT INTO RobotHits SET bot_id = '$bot&#91;bot_id&#93;', bot_day = '$robot_day', bot_hit = '1'
ON DUPLICATE KEY UPDATE bot_hit = bot_hit + 1";
echo $sql;
db_query&#40;$sql, 'RobotStats'&#41;;
$sql = "SELECT * FROM IP.UserAgentQuery WHERE user_agent_query = '$user_agent'";
$res = db_query&#40;$sql, 'IP'&#41;;
$ipag = db_fetch_array&#40;$res&#41;;

if &#40;is_array&#40;$ipag&#41;&#41;
&#123;
        if &#40;$ipag&#91;bot_type&#93; == 'G'&#41;
        &#123;
                $spider = 'Y';
        &#125;
        elseif &#40;$ipag&#91;bot_type&#93; == 'Y'&#41;
        &#123;
                $spider = 'N';
        &#125;
	$sql = "INSERT INTO IPBan SET remote_addr = '$ip_address', spider = '$spider', which_se = '$bot&#91;bot_id&#93;' ON DUPLICATE KEY UPDATE which_se = '$bot&#91;bot_id&#93;'";
	echo $sql;
	db_query&#40;$sql, 'IP'&#41;;
	$sql = "SELECT * FROM RobotDisallow WHERE bot_id = '$bot&#91;bot_id&#93;'";
	$res = db_query&#40;$sql, 'RobotStats'&#41;;
	$rd = db_fetch_array&#40;$res&#41;;
	if &#40;is_array&#40;$rd&#41;&#41;
	&#123;
		$rt = "User-agent&#58; $HTTP_USER_AGENT\n";
		$rt .= "Crawl-Delay&#58; $rd&#91;crawl&#93;\n";
		$rt .= "Disallow&#58; $rt&#91;disallow&#93;\n";
	&#125;
&#125;

@ob_end_clean&#40;&#41;;
if &#40;$rt&#41;
&#123;
	echo $rt;
&#125;

?>
was bewirkt diese?

Sorry, falls es eine dumme Frage ist aber ich bin nicht so der Codefinger...

Danke und schöne Grüße

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

DanielS
PostRank 9
PostRank 9
Beiträge: 1179
Registriert: 03.08.2008, 08:45

Beitrag von DanielS » 22.04.2010, 08:43

volli hat geschrieben:bei der Konkurrenz ist mir folgende robots.txt aufgefallen:

Sorry, falls es eine dumme Frage ist aber ich bin nicht so der Codefinger...
Sorry, wenn ich jetzt auch eine dumme Frage stelle, aber Du hast Zugriff auf die php-Dateien Deiner Konkurrenz? :o

volli
PostRank 4
PostRank 4
Beiträge: 111
Registriert: 21.04.2010, 09:09

Beitrag von volli » 22.04.2010, 08:51

Das ist ja das kranke! Er hat das in seiner robots.txt stehen. Eigentlich sieht so eine Datei ganz anders aus. Darum versteh ich auch nicht was das soll. :crazyeyes:

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


DanielS
PostRank 9
PostRank 9
Beiträge: 1179
Registriert: 03.08.2008, 08:45

Beitrag von DanielS » 22.04.2010, 08:58

Dann hat wohl einer vergessen .txt dem PHP-Parser zuzuordnen.

Was er wahrscheinlich vorhat ist abhängig vom User-Agent dynamisch eine robots.txt zu generieren. Zusätzlich wird dann die IP auch in eine Tabelle eingetragen, um die IPs der Bots zu Speichern.

Synonym
PostRank 10
PostRank 10
Beiträge: 3708
Registriert: 09.08.2008, 02:55

Beitrag von Synonym » 22.04.2010, 09:06

Interessant. Das scheint wohl ein Versuch zu sein, eine robots.txt dynamisch zu schreiben und auch die Zugriffe darauf zu loggen. Derjenige war wohl einfach nicht fähig die Datei richtig zu benennen oder dem PHP-Interpreter beizubringen auch .txt-Files zu parsen.

ok, zu langsam...

volli
PostRank 4
PostRank 4
Beiträge: 111
Registriert: 21.04.2010, 09:09

Beitrag von volli » 22.04.2010, 09:25

Ok, ich dachte schon das hätte einer etwas ganz verrücktes gemacht und ist deshalb vor mir, dabei ist es einfach nur ein Fehler in seinem Code :-)

schönen Dank für eure Antworten.

Pompom
PostRank 10
PostRank 10
Beiträge: 3751
Registriert: 10.09.2004, 16:38

Beitrag von Pompom » 22.04.2010, 11:44

Ich tippe mal, das ist eine robots.txt-Verschwörung.

https://www.google.de/search?q=db_query( ... e&filter=0

Anonymous

Beitrag von Anonymous » 22.04.2010, 12:04

der daemlack hat einfach keine robots.txt und eine 404 drinnen

Pompom
PostRank 10
PostRank 10
Beiträge: 3751
Registriert: 10.09.2004, 16:38

Beitrag von Pompom » 22.04.2010, 12:14

Oh, doch nur eine 404-Verschwörung...
lois69 hat sie enttarnt.

volli
PostRank 4
PostRank 4
Beiträge: 111
Registriert: 21.04.2010, 09:09

Beitrag von volli » 23.04.2010, 13:11

und was haben die Illuminaten damit zu tun? :>

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag